PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 128KB message using SHMEM within a node)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 67.12 8.96 4.4%
1 iter. 67.78 9.15 7.2%
10 iter. 68.10 9.14 7.3%
cache inv. w/overlap 67.13 10.55 10.8%
1 iter. w/overlap 67.67 10.45 11.6%
10 iter. w/overlap 68.15 10.47 12.8%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 66.97 7.42 9.4%
1 iter. 67.85 7.20 11.0%
10 iter. 68.06 7.25 10.4%
cache inv. w/overlap 67.33 7.64 11.1%
1 iter. w/overlap 67.75 7.36 12.6%
10 iter. w/overlap 68.14 7.89 10.7%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 66.98 9.35 4.8%
1 iter. 67.51 9.34 6.3%
10 iter. 68.05 9.44 7.3%
cache inv. w/overlap 66.92 10.37 9.8%
1 iter. w/overlap 67.40 10.39 11.9%
10 iter. w/overlap 68.10 10.31 11.2%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 66.77 7.91 7.9%
1 iter. 67.81 7.48 10.9%
10 iter. 68.02 7.88 8.2%
cache inv. w/overlap 67.06 7.74 12.8%
1 iter. w/overlap 67.54 8.08 10.3%
10 iter. w/overlap 68.05 7.86 10.9%

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9899e-02   1.9432e-05   13.17   0.07   0.09   0.13 
  256   1.2303e-02   2.4029e-05   21.31   0.02   0.03   0.05 
  512   8.2832e-03   3.2356e-05   31.65   0.02   0.03   0.05 
  1024   5.9696e-03   4.6638e-05   43.91   0.02   0.02   0.03 
  2048   4.9692e-03   7.7644e-05   52.75   0.01   0.01   0.02 
  4096   4.4260e-03   1.3831e-04   59.23   0.00   0.01   0.01 
  8192   4.1488e-03   2.5930e-04   63.19   0.01   0.01   0.01 
  16384   4.0178e-03   5.0223e-04   65.25   0.00   0.00   0.00 
  32768   3.9548e-03   9.8870e-04   66.29   0.00   0.00   0.00 
  65536   3.9170e-03   1.9585e-03   66.92   0.00   0.00   0.01 
  131072   3.9056e-03   3.9056e-03   67.12   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   1   4   3    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   2   3   4    
  4096   1   2   3   4    
  8192   1   3   2   4    
  16384   1   2   3   4    
  32768   2   1   4   3    
  65536   1   2   3   4    
  131072   1   3   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   4   4 
  512    1   4   4 
  1024    1   4   4 
  2048    3   4   4 
  4096    4   4   4 
  8192    2   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9589e-02   1.9130e-05   13.38   0.07   0.11   0.13 
  256   1.2215e-02   2.3857e-05   21.46   0.02   0.04   0.04 
  512   8.2432e-03   3.2200e-05   31.80   0.02   0.03   0.05 
  1024   5.9408e-03   4.6413e-05   44.13   0.01   0.02   0.03 
  2048   4.9132e-03   7.6769e-05   53.36   0.01   0.02   0.03 
  4096   4.3736e-03   1.3668e-04   59.94   0.00   0.01   0.01 
  8192   4.1228e-03   2.5768e-04   63.58   0.00   0.00   0.01 
  16384   3.9848e-03   4.9810e-04   65.79   0.00   0.00   0.00 
  32768   3.9238e-03   9.8095e-04   66.81   0.00   0.00   0.00 
  65536   3.8634e-03   1.9317e-03   67.85   0.00   0.01   0.01 
  131072   3.8678e-03   3.8678e-03   67.78   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   1   3   4    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   3   2   4    
  4096   2   1   4   3    
  8192   3   1   2   4    
  16384   2   1   4   3    
  32768   2   1   4   3    
  65536   2   4   3   1    
  131072   1   4   2   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   4   4 
  512    1   4   4 
  1024    2   4   4 
  2048    2   4   4 
  4096    4   4   4 
  8192    3   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    3   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9578e-02   1.9119e-05   13.39   0.07   0.11   0.14 
  256   1.2156e-02   2.3742e-05   21.57   0.02   0.02   0.04 
  512   8.2184e-03   3.2103e-05   31.90   0.02   0.03   0.05 
  1024   5.8612e-03   4.5791e-05   44.73   0.02   0.02   0.03 
  2048   4.8809e-03   7.6265e-05   53.71   0.01   0.01   0.02 
  4096   4.3271e-03   1.3522e-04   60.58   0.01   0.01   0.01 
  8192   4.0898e-03   2.5561e-04   64.10   0.00   0.00   0.01 
  16384   3.9538e-03   4.9423e-04   66.30   0.00   0.00   0.00 
  32768   3.8906e-03   9.7265e-04   67.38   0.00   0.00   0.00 
  65536   3.8600e-03   1.9300e-03   67.91   0.00   0.00   0.00 
  131072   3.8495e-03   3.8495e-03   68.10   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   1   4   3    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   1   3   2   4    
  32768   1   2   3   4    
  65536   1   3   2   4    
  131072   1   2   3   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   4   4 
  512    1   4   4 
  1024    1   4   4 
  2048    2   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9989e-02   1.9520e-05   13.11   0.11   0.19   0.20 
  256   1.2161e-02   2.3752e-05   21.56   0.06   0.09   0.09 
  512   8.7356e-03   3.4123e-05   30.01   0.01   0.02   0.03 
  1024   6.3070e-03   4.9273e-05   41.56   0.01   0.02   0.03 
  2048   5.0984e-03   7.9663e-05   51.42   0.00   0.00   0.01 
  4096   4.4958e-03   1.4049e-04   58.31   0.00   0.00   0.01 
  8192   4.2000e-03   2.6250e-04   62.42   0.00   0.00   0.00 
  16384   4.0470e-03   5.0588e-04   64.77   0.00   0.00   0.01 
  32768   3.9656e-03   9.9140e-04   66.10   0.01   0.01   0.02 
  65536   3.9092e-03   1.9546e-03   67.06   0.01   0.01   0.01 
  131072   3.8936e-03   3.8936e-03   67.33   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   3   1    
  256   2   4   3   1    
  512   3   2   1   4    
  1024   3   2   1   4    
  2048   1   2   4   3    
  4096   2   3   1   4    
  8192   3   2   1   4    
  16384   2   3   4   1    
  32768   1   3   4   2    
  65536   4   2   1   3    
  131072   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   1   4 
  512    2   4   4 
  1024    2   4   4 
  2048    3   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    3   4   4 
  65536    2   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9763e-02   1.9300e-05   13.26   0.11   0.20   0.20 
  256   1.2231e-02   2.3889e-05   21.43   0.04   0.06   0.07 
  512   8.6662e-03   3.3852e-05   30.25   0.01   0.01   0.03 
  1024   6.2850e-03   4.9102e-05   41.71   0.01   0.00   0.02 
  2048   5.0496e-03   7.8900e-05   51.91   0.01   0.00   0.02 
  4096   4.4698e-03   1.3968e-04   58.65   0.00   0.00   0.01 
  8192   4.1560e-03   2.5975e-04   63.08   0.00   0.00   0.01 
  16384   4.0064e-03   5.0080e-04   65.43   0.00   0.01   0.01 
  32768   3.9252e-03   9.8130e-04   66.78   0.00   0.00   0.01 
  65536   3.8868e-03   1.9434e-03   67.44   0.00   0.00   0.01 
  131072   3.8692e-03   3.8692e-03   67.75   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   3   1    
  256   2   4   3   1    
  512   3   1   2   4    
  1024   3   1   2   4    
  2048   1   3   2   4    
  4096   2   1   3   4    
  8192   1   3   2   4    
  16384   2   3   1   4    
  32768   4   2   1   3    
  65536   1   2   3   4    
  131072   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   4 
  256    1   2   4 
  512    3   4   4 
  1024    3   4   4 
  2048    3   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.0689e-02   2.0204e-05   12.67   0.07   0.14   0.14 
  256   1.2605e-02   2.4619e-05   20.80   0.02   0.02   0.03 
  512   8.6035e-03   3.3607e-05   30.47   0.01   0.03   0.03 
  1024   6.1893e-03   4.8354e-05   42.35   0.01   0.02   0.02 
  2048   5.0002e-03   7.8129e-05   52.43   0.01   0.01   0.01 
  4096   4.4127e-03   1.3790e-04   59.41   0.00   0.01   0.01 
  8192   4.1100e-03   2.5688e-04   63.78   0.00   0.00   0.00 
  16384   3.9855e-03   4.9818e-04   65.77   0.00   0.00   0.00 
  32768   3.8992e-03   9.7479e-04   67.23   0.00   0.00   0.00 
  65536   3.8606e-03   1.9303e-03   67.90   0.00   0.00   0.00 
  131072   3.8466e-03   3.8466e-03   68.15   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   3   1    
  256   2   4   1   3    
  512   1   3   2   4    
  1024   3   1   2   4    
  2048   1   3   4   2    
  4096   3   1   2   4    
  8192   1   3   2   4    
  16384   3   1   2   4    
  32768   2   3   4   1    
  65536   2   4   3   1    
  131072   1   2   3   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    2   2   4 
  256    1   4   4 
  512    2   4   4 
  1024    2   4   4 
  2048    2   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:04:41 EDT.
86186 accesses since 1/2/96.