PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 8KB message using SHMEM between two nodes)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 111.61 9.33 12.7%
1 iter. 128.60 9.62 15.1%
10 iter. 139.08 9.61 16.3%
cache inv. w/overlap 112.07 10.33 14.1%
1 iter. w/overlap 131.28 9.88 15.8%
10 iter. w/overlap 134.63 10.11 16.6%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 116.70 8.40 13.4%
1 iter. 130.03 8.44 13.4%
10 iter. 135.63 8.45 14.0%
cache inv. w/overlap 118.90 8.22 14.7%
1 iter. w/overlap 129.21 8.25 13.9%
10 iter. w/overlap 139.20 8.54 14.5%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 115.38 10.23 14.4%
1 iter. 132.56 9.75 15.8%
10 iter. 136.94 9.96 16.6%
cache inv. w/overlap 111.91 9.96 13.6%
1 iter. w/overlap 132.13 10.06 16.2%
10 iter. w/overlap 135.07 10.42 17.3%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 111.15 9.02 12.2%
1 iter. 124.88 8.94 13.6%
10 iter. 135.43 8.90 14.7%
cache inv. w/overlap 109.67 8.82 12.4%
1 iter. w/overlap 126.03 8.81 13.6%
10 iter. w/overlap 135.90 8.80 14.6%

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7302e-02   1.6896e-05   0.95   0.10   0.14   0.20 
  16   8.6966e-03   1.6986e-05   1.88   0.10   0.17   0.18 
  32   4.5456e-03   1.7756e-05   3.60   0.05   0.09   0.12 
  64   2.2388e-03   1.7491e-05   7.32   0.07   0.11   0.14 
  128   1.2416e-03   1.9400e-05   13.20   0.07   0.10   0.12 
  256   7.5760e-04   2.3675e-05   21.63   0.03   0.03   0.08 
  512   4.4320e-04   2.7700e-05   36.97   0.04   0.05   0.08 
  1024   2.7720e-04   3.4650e-05   59.11   0.04   0.04   0.09 
  2048   2.0180e-04   5.0450e-05   81.19   0.04   0.05   0.08 
  4096   1.6180e-04   8.0900e-05   101.26   0.03   0.03   0.07 
  8192   1.4040e-04   1.4040e-04   116.70   0.03   0.05   0.05 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   1   3   2   4    
  512   1   3   2   4    
  1024   1   2   3   4    
  2048   1   2   3   4    
  4096   3   2   1   4    
  8192   2   3   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   1   4 
  32    2   2   4 
  64    1   2   4 
  128    1   1   4 
  256    1   3   4 
  512    1   3   4 
  1024    1   3   4 
  2048    1   2   4 
  4096    1   3   4 
  8192    1   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7234e-02   1.6830e-05   0.95   0.09   0.14   0.17 
  16   8.5904e-03   1.6778e-05   1.91   0.09   0.14   0.18 
  32   4.2636e-03   1.6655e-05   3.84   0.09   0.15   0.18 
  64   2.1790e-03   1.7023e-05   7.52   0.09   0.12   0.16 
  128   1.2092e-03   1.8894e-05   13.55   0.07   0.10   0.13 
  256   7.4400e-04   2.3250e-05   22.02   0.03   0.03   0.06 
  512   4.3500e-04   2.7188e-05   37.66   0.02   0.03   0.06 
  1024   2.6460e-04   3.3075e-05   61.92   0.03   0.05   0.06 
  2048   1.8500e-04   4.6250e-05   88.56   0.03   0.04   0.06 
  4096   1.4340e-04   7.1700e-05   114.25   0.04   0.05   0.06 
  8192   1.2360e-04   1.2360e-04   132.56   0.03   0.03   0.06 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   1   2   3   4    
  512   1   3   2   4    
  1024   1   3   4   2    
  2048   3   1   2   4    
  4096   3   2   1   4    
  8192   3   2   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   2   4 
  32    1   1   4 
  64    1   1   4 
  128    1   1   4 
  256    1   3   4 
  512    2   3   4 
  1024    2   2   4 
  2048    2   3   4 
  4096    1   2   4 
  8192    1   3   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7157e-02   1.6755e-05   0.95   0.10   0.15   0.18 
  16   8.5015e-03   1.6605e-05   1.93   0.10   0.16   0.19 
  32   4.2569e-03   1.6628e-05   3.85   0.10   0.15   0.19 
  64   2.1910e-03   1.7117e-05   7.48   0.09   0.13   0.16 
  128   1.2270e-03   1.9171e-05   13.35   0.06   0.08   0.11 
  256   7.3570e-04   2.2991e-05   22.27   0.02   0.02   0.06 
  512   4.2212e-04   2.6383e-05   38.81   0.04   0.05   0.07 
  1024   2.6152e-04   3.2690e-05   62.65   0.03   0.04   0.04 
  2048   1.8048e-04   4.5120e-05   90.78   0.02   0.02   0.04 
  4096   1.4020e-04   7.0100e-05   116.86   0.01   0.00   0.02 
  8192   1.1780e-04   1.1780e-04   139.08   0.02   0.03   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   1   2   3   4    
  512   1   3   2   4    
  1024   1   2   4   3    
  2048   1   3   2   4    
  4096   2   1   3   4    
  8192   1   3   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   1   4 
  32    1   1   4 
  64    1   1   4 
  128    1   2   4 
  256    1   3   4 
  512    1   3   4 
  1024    1   4   4 
  2048    1   4   4 
  4096    3   4   4 
  8192    1   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7086e-02   1.6686e-05   0.96   0.12   0.21   0.21 
  16   8.6688e-03   1.6931e-05   1.89   0.10   0.17   0.20 
  32   4.2894e-03   1.6755e-05   3.82   0.12   0.21   0.21 
  64   2.2352e-03   1.7463e-05   7.33   0.14   0.24   0.25 
  128   1.2440e-03   1.9438e-05   13.17   0.11   0.18   0.19 
  256   7.7080e-04   2.4087e-05   21.26   0.04   0.06   0.06 
  512   4.6700e-04   2.9188e-05   35.08   0.01   0.01   0.04 
  1024   2.9920e-04   3.7400e-05   54.76   0.02   0.04   0.05 
  2048   2.0340e-04   5.0850e-05   80.55   0.04   0.04   0.09 
  4096   1.5840e-04   7.9200e-05   103.43   0.04   0.05   0.05 
  8192   1.3780e-04   1.3780e-04   118.90   0.05   0.06   0.08 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   3   1    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   3   1    
  128   2   4   3   1    
  256   2   4   3   1    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   2   3   1   4    
  4096   2   1   3   4    
  8192   2   1   3   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   2   4 
  32    1   1   4 
  64    1   1   3 
  128    1   1   4 
  256    1   1   4 
  512    3   4   4 
  1024    2   4   4 
  2048    1   3   4 
  4096    1   1   4 
  8192    1   1   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.6943e-02   1.6546e-05   0.97   0.12   0.19   0.21 
  16   8.4926e-03   1.6587e-05   1.93   0.11   0.19   0.20 
  32   4.2404e-03   1.6564e-05   3.86   0.11   0.19   0.20 
  64   2.2120e-03   1.7281e-05   7.41   0.13   0.23   0.24 
  128   1.2214e-03   1.9084e-05   13.41   0.10   0.17   0.18 
  256   7.5500e-04   2.3594e-05   21.70   0.03   0.04   0.06 
  512   4.4560e-04   2.7850e-05   36.77   0.02   0.02   0.05 
  1024   2.7480e-04   3.4350e-05   59.62   0.01   0.01   0.04 
  2048   1.8400e-04   4.6000e-05   89.04   0.04   0.06   0.08 
  4096   1.4500e-04   7.2500e-05   112.99   0.02   0.02   0.06 
  8192   1.2400e-04   1.2400e-04   132.13   0.02   0.02   0.05 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   3   1    
  128   2   4   3   1    
  256   2   3   1   4    
  512   3   1   2   4    
  1024   1   2   3   4    
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   3   1   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   1   4 
  32    1   1   4 
  64    1   1   4 
  128    1   1   4 
  256    1   3   4 
  512    2   3   4 
  1024    2   4   4 
  2048    1   2   4 
  4096    2   3   4 
  8192    2   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7019e-02   1.6620e-05   0.96   0.13   0.21   0.23 
  16   8.2715e-03   1.6155e-05   1.98   0.14   0.24   0.24 
  32   4.1840e-03   1.6344e-05   3.92   0.13   0.22   0.22 
  64   2.2129e-03   1.7288e-05   7.40   0.14   0.24   0.25 
  128   1.2133e-03   1.8958e-05   13.50   0.11   0.19   0.20 
  256   7.6086e-04   2.3777e-05   21.53   0.03   0.04   0.04 
  512   4.4116e-04   2.7573e-05   37.14   0.02   0.01   0.05 
  1024   2.7142e-04   3.3927e-05   60.36   0.01   0.01   0.04 
  2048   1.8332e-04   4.5830e-05   89.37   0.02   0.02   0.04 
  4096   1.3816e-04   6.9080e-05   118.59   0.01   0.02   0.02 
  8192   1.1770e-04   1.1770e-04   139.20   0.02   0.03   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   3   1    
  256   2   3   1   4    
  512   2   3   1   4    
  1024   2   1   3   4    
  2048   2   3   1   4    
  4096   2   3   1   4    
  8192   2   4   3   1    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   1   4 
  32    1   1   4 
  64    1   1   4 
  128    1   1   4 
  256    1   4   4 
  512    2   3   4 
  1024    2   4   4 
  2048    1   4   4 
  4096    2   4   4 
  8192    1   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:05:36 EDT.
86521 accesses since 1/2/96.