PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 128KB message using SHMEM within a node)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.21 9.40 4.5%
10 iter. 65.48 9.12 4.2%
1 iter. w/overlap 65.04 11.16 10.3%
10 iter. w/overlap 65.25 10.89 11.5%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.01 8.03 9.7%
10 iter. 65.40 7.85 8.1%
1 iter. w/overlap 65.34 8.34 10.7%
10 iter. w/overlap 65.31 8.28 10.8%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 64.91 9.54 4.1%
10 iter. 65.24 9.35 4.6%
1 iter. w/overlap 64.63 11.07 8.8%
10 iter. w/overlap 65.35 11.06 11.6%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 64.79 8.13 9.4%
10 iter. 65.47 8.17 7.3%
1 iter. w/overlap 65.03 8.80 8.4%
10 iter. w/overlap 65.33 8.50 9.6%

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.0719e-02   2.0233e-05   12.65   0.06   0.10   0.11 
  256   1.2495e-02   2.4404e-05   20.98   0.03   0.05   0.06 
  512   8.6046e-03   3.3612e-05   30.47   0.03   0.05   0.05 
  1024   6.1626e-03   4.8145e-05   42.54   0.02   0.02   0.06 
  2048   5.1454e-03   8.0397e-05   50.95   0.01   0.02   0.03 
  4096   4.5054e-03   1.4079e-04   58.18   0.01   0.01   0.02 
  8192   4.2914e-03   2.6821e-04   61.09   0.01   0.01   0.03 
  16384   4.1476e-03   5.1845e-04   63.20   0.00   0.00   0.01 
  32768   4.0730e-03   1.0183e-03   64.36   0.00   0.00   0.01 
  65536   4.0322e-03   2.0161e-03   65.01   0.00   0.00   0.01 
  131072   4.0200e-03   4.0200e-03   65.21   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   4   1   3    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   2   4   3    
  4096   1   2   3   4    
  8192   1   3   2   4    
  16384   2   1   4   3    
  32768   1   3   2   4    
  65536   2   4   1   3    
  131072   1   3   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   3   4 
  512    1   3   4 
  1024    1   3   4 
  2048    2   4   4 
  4096    2   4   4 
  8192    3   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    3   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.0340e-02   1.9863e-05   12.89   0.06   0.09   0.11 
  256   1.2303e-02   2.4030e-05   21.31   0.03   0.04   0.06 
  512   8.4730e-03   3.3098e-05   30.94   0.02   0.03   0.04 
  1024   6.1433e-03   4.7995e-05   42.67   0.01   0.02   0.03 
  2048   5.0906e-03   7.9540e-05   51.50   0.01   0.01   0.02 
  4096   4.5026e-03   1.4071e-04   58.22   0.01   0.01   0.01 
  8192   4.2913e-03   2.6820e-04   61.09   0.00   0.00   0.01 
  16384   4.1394e-03   5.1743e-04   63.33   0.00   0.00   0.00 
  32768   4.0661e-03   1.0165e-03   64.47   0.00   0.00   0.00 
  65536   4.0298e-03   2.0149e-03   65.05   0.00   0.00   0.00 
  131072   4.0033e-03   4.0033e-03   65.48   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   4   1   3    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   3   1   2   4    
  16384   1   4   3   2    
  32768   2   1   4   3    
  65536   2   3   4   1    
  131072   1   4   2   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   3   4 
  512    1   4   4 
  1024    2   4   4 
  2048    2   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.1369e-02   2.0869e-05   12.27   0.10   0.19   0.19 
  256   1.2827e-02   2.5052e-05   20.44   0.05   0.09   0.10 
  512   9.2734e-03   3.6224e-05   28.27   0.01   0.02   0.02 
  1024   6.5688e-03   5.1319e-05   39.91   0.02   0.03   0.03 
  2048   5.3116e-03   8.2994e-05   49.35   0.01   0.01   0.01 
  4096   4.6572e-03   1.4554e-04   56.29   0.01   0.01   0.02 
  8192   4.3332e-03   2.7082e-04   60.50   0.02   0.02   0.03 
  16384   4.1746e-03   5.2182e-04   62.79   0.00   0.00   0.01 
  32768   4.0878e-03   1.0219e-03   64.13   0.01   0.01   0.02 
  65536   4.0426e-03   2.0213e-03   64.85   0.00   0.00   0.00 
  131072   4.0120e-03   4.0120e-03   65.34   0.01   0.00   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   4   1   3    
  512   2   4   1   3    
  1024   1   2   4   3    
  2048   1   3   2   4    
  4096   2   4   3   1    
  8192   1   2   3   4    
  16384   2   1   3   4    
  32768   1   2   4   3    
  65536   2   1   3   4    
  131072   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   2   4 
  512    2   4   4 
  1024    1   4   4 
  2048    3   4   4 
  4096    3   4   4 
  8192    2   4   4 
  16384    4   4   4 
  32768    3   4   4 
  65536    4   4   4 
  131072    3   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.1607e-02   2.1101e-05   12.13   0.08   0.15   0.16 
  256   1.2904e-02   2.5203e-05   20.31   0.04   0.05   0.07 
  512   8.9818e-03   3.5085e-05   29.19   0.02   0.03   0.03 
  1024   6.4791e-03   5.0618e-05   40.46   0.01   0.02   0.02 
  2048   5.2558e-03   8.2123e-05   49.88   0.01   0.01   0.02 
  4096   4.6158e-03   1.4424e-04   56.79   0.00   0.00   0.00 
  8192   4.3196e-03   2.6998e-04   60.69   0.00   0.00   0.00 
  16384   4.1607e-03   5.2008e-04   63.01   0.00   0.00   0.00 
  32768   4.0765e-03   1.0191e-03   64.31   0.00   0.00   0.00 
  65536   4.0341e-03   2.0170e-03   64.98   0.00   0.00   0.00 
  131072   4.0117e-03   4.0117e-03   65.35   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   4   2   1   3    
  256   4   2   1   3    
  512   1   3   4   2    
  1024   1   3   4   2    
  2048   1   3   2   4    
  4096   1   3   4   2    
  8192   2   1   4   3    
  16384   2   4   3   1    
  32768   2   3   1   4    
  65536   2   4   1   3    
  131072   3   4   2   1    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    2   2   4 
  256    1   2   4 
  512    2   4   4 
  1024    2   4   4 
  2048    2   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:37 EDT.
86794 accesses since 1/2/96.