PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 8KB message using SHMEM between two nodes)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 101.89 10.64 26.5%
10 iter. 124.22 10.08 19.1%
1 iter. w/overlap 94.16 10.86 25.0%
10 iter. w/overlap 121.67 10.59 19.1%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 99.18 9.42 22.8%
10 iter. 122.84 8.92 13.7%
1 iter. w/overlap 104.89 9.68 24.8%
10 iter. w/overlap 122.65 9.25 17.9%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 97.76 10.81 25.8%
10 iter. 120.79 10.51 20.7%
1 iter. w/overlap 96.26 10.93 25.7%
10 iter. w/overlap 120.12 10.83 21.3%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 97.18 9.11 21.6%
10 iter. 119.12 9.43 17.1%
1 iter. w/overlap 94.81 9.69 22.4%
10 iter. w/overlap 120.40 9.37 15.9%

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.8903e-02   1.8460e-05   0.87   0.08   0.13   0.17 
  16   9.2544e-03   1.8075e-05   1.77   0.10   0.13   0.20 
  32   4.5772e-03   1.7880e-05   3.58   0.10   0.16   0.19 
  64   2.3498e-03   1.8358e-05   6.97   0.08   0.12   0.14 
  128   1.2996e-03   2.0306e-05   12.61   0.07   0.11   0.13 
  256   7.8940e-04   2.4669e-05   20.76   0.02   0.03   0.04 
  512   4.6720e-04   2.9200e-05   35.07   0.04   0.05   0.08 
  1024   2.9140e-04   3.6425e-05   56.23   0.03   0.05   0.05 
  2048   2.0300e-04   5.0750e-05   80.71   0.04   0.06   0.07 
  4096   1.6080e-04   8.0400e-05   101.89   0.03   0.04   0.05 
  8192   2.2300e-04   2.2300e-04   73.47   0.04   0.05   0.06 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   1   2   4   3    
  512   1   2   3   4    
  1024   1   3   2   4    
  2048   1   2   3   4    
  4096   1   2   3   4    
  8192   3   2   4   1    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   4 
  16    1   1   4 
  32    1   2   4 
  64    1   2   4 
  128    1   2   4 
  256    2   4   4 
  512    1   3   4 
  1024    1   4   4 
  2048    1   2   4 
  4096    1   4   4 
  8192    1   2   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.8225e-02   1.7798e-05   0.90   0.09   0.14   0.18 
  16   9.0881e-03   1.7750e-05   1.80   0.10   0.15   0.19 
  32   4.6117e-03   1.8015e-05   3.55   0.09   0.13   0.18 
  64   2.3884e-03   1.8659e-05   6.86   0.08   0.12   0.15 
  128   1.3222e-03   2.0660e-05   12.39   0.07   0.10   0.13 
  256   7.8960e-04   2.4675e-05   20.75   0.02   0.02   0.04 
  512   4.4838e-04   2.8024e-05   36.54   0.05   0.07   0.08 
  1024   2.7200e-04   3.4000e-05   60.24   0.03   0.04   0.06 
  2048   1.8906e-04   4.7265e-05   86.66   0.04   0.03   0.08 
  4096   1.4458e-04   7.2290e-05   113.32   0.02   0.03   0.04 
  8192   1.3190e-04   1.3190e-04   124.22   0.02   0.03   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   1   2   3   4    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   2   3   4    
  4096   1   3   2   4    
  8192   1   2   3   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   2   4 
  32    1   2   4 
  64    1   2   4 
  128    1   2   4 
  256    2   4   4 
  512    1   2   4 
  1024    1   3   4 
  2048    1   3   4 
  4096    1   4   4 
  8192    1   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.9297e-02   1.8845e-05   0.85   0.09   0.17   0.17 
  16   9.3842e-03   1.8329e-05   1.75   0.13   0.22   0.22 
  32   4.7552e-03   1.8575e-05   3.45   0.13   0.23   0.26 
  64   2.5224e-03   1.9706e-05   6.50   0.10   0.17   0.22 
  128   1.3546e-03   2.1166e-05   12.10   0.10   0.17   0.19 
  256   8.1140e-04   2.5356e-05   20.19   0.06   0.08   0.09 
  512   4.8220e-04   3.0138e-05   33.98   0.04   0.05   0.07 
  1024   3.0180e-04   3.7725e-05   54.29   0.03   0.03   0.05 
  2048   2.1600e-04   5.4000e-05   75.85   0.01   0.01   0.02 
  4096   1.5620e-04   7.8100e-05   104.89   0.08   0.11   0.11 
  8192   2.1300e-04   2.1300e-04   76.92   0.08   0.10   0.11 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   3   1    
  64   2   4   1   3    
  128   2   4   1   3    
  256   2   4   1   3    
  512   2   1   3   4    
  1024   1   3   2   4    
  2048   4   2   1   3    
  4096   2   3   4   1    
  8192   2   3   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   4 
  16    1   1   4 
  32    1   2   3 
  64    1   2   4 
  128    1   2   4 
  256    1   1   4 
  512    1   3   4 
  1024    1   4   4 
  2048    1   4   4 
  4096    1   1   4 
  8192    1   1   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.8571e-02   1.8135e-05   0.88   0.11   0.18   0.20 
  16   9.0994e-03   1.7772e-05   1.80   0.13   0.22   0.23 
  32   4.6480e-03   1.8156e-05   3.52   0.14   0.24   0.26 
  64   2.4334e-03   1.9011e-05   6.73   0.14   0.25   0.26 
  128   1.3365e-03   2.0882e-05   12.26   0.12   0.19   0.20 
  256   7.9690e-04   2.4903e-05   20.56   0.05   0.09   0.09 
  512   4.8076e-04   3.0047e-05   34.08   0.02   0.01   0.05 
  1024   2.9062e-04   3.6328e-05   56.38   0.01   0.01   0.04 
  2048   1.9684e-04   4.9210e-05   83.24   0.01   0.02   0.02 
  4096   1.4472e-04   7.2360e-05   113.21   0.02   0.03   0.04 
  8192   1.3358e-04   1.3358e-04   122.65   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   2   4   1   3    
  512   1   2   3   4    
  1024   1   3   2   4    
  2048   3   1   2   4    
  4096   2   3   1   4    
  8192   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   4 
  16    1   1   4 
  32    1   1   3 
  64    1   1   3 
  128    1   1   4 
  256    1   2   4 
  512    2   4   4 
  1024    3   4   4 
  2048    2   4   4 
  4096    1   4   4 
  8192    2   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:03:14 EDT.
86155 accesses since 1/2/96.