PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 2MB message using SHMEM within a node)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 68.63 8.59 1.0%
1 iter. 68.68 8.48 0.6%
10 iter. 68.82 8.59 0.9%
cache inv. w/overlap 68.65 9.31 0.4%
1 iter. w/overlap 68.68 9.27 0.5%
10 iter. w/overlap 68.80 9.17 0.5%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 68.67 9.04 0.7%
1 iter. 68.61 9.19 0.9%
10 iter. 68.79 9.10 1.0%
cache inv. w/overlap 68.57 9.24 0.4%
1 iter. w/overlap 68.60 9.33 0.4%
10 iter. w/overlap 68.86 9.50 0.6%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 68.63 9.12 1.2%
1 iter. 68.64 9.23 1.5%
10 iter. 68.79 8.90 0.9%
cache inv. w/overlap 68.63 8.95 0.7%
1 iter. w/overlap 68.59 9.15 0.5%
10 iter. w/overlap 68.93 9.21 0.7%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 68.63 9.52 1.1%
1 iter. 68.66 9.51 0.9%
10 iter. 69.00 9.29 0.6%
cache inv. w/overlap 68.71 9.52 0.7%
1 iter. w/overlap 68.65 9.68 0.5%
10 iter. w/overlap 68.76 9.54 0.5%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.8039e-02   7.6210e-05   53.75   0.01   0.01   0.02 
  4096   6.9245e-02   1.3524e-04   60.57   0.01   0.01   0.01 
  8192   6.5373e-02   2.5536e-04   64.16   0.00   0.00   0.01 
  16384   6.3172e-02   4.9353e-04   66.39   0.00   0.00   0.00 
  32768   6.2103e-02   9.7036e-04   67.54   0.00   0.00   0.00 
  65536   6.1627e-02   1.9259e-03   68.06   0.00   0.00   0.00 
  131072   6.1325e-02   3.8328e-03   68.39   0.00   0.00   0.00 
  262144   6.1078e-02   7.6348e-03   68.67   0.00   0.00   0.00 
  524288   6.1093e-02   1.5273e-02   68.65   0.00   0.00   0.00 
  1048576   6.1205e-02   3.0603e-02   68.53   0.00   0.00   0.00 
  2097152   6.1124e-02   6.1124e-02   68.62   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   1   2   3   4    
  32768   1   3   4   2    
  65536   1   3   4   2    
  131072   2   1   4   3    
  262144   2   1   3   4    
  524288   2   4   3   1    
  1048576   1   4   3   2    
  2097152   1   2   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.8008e-02   7.6179e-05   53.77   0.01   0.02   0.02 
  4096   6.9326e-02   1.3540e-04   60.50   0.01   0.01   0.01 
  8192   6.5485e-02   2.5580e-04   64.05   0.00   0.00   0.01 
  16384   6.3142e-02   4.9330e-04   66.43   0.00   0.00   0.00 
  32768   6.2148e-02   9.7107e-04   67.49   0.00   0.00   0.00 
  65536   6.1611e-02   1.9253e-03   68.08   0.00   0.00   0.00 
  131072   6.1360e-02   3.8350e-03   68.36   0.00   0.00   0.00 
  262144   6.1198e-02   7.6497e-03   68.54   0.00   0.00   0.00 
  524288   6.1089e-02   1.5272e-02   68.66   0.00   0.00   0.00 
  1048576   6.1279e-02   3.0640e-02   68.45   0.00   0.00   0.00 
  2097152   6.1072e-02   6.1072e-02   68.68   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   1   3   2   4    
  32768   3   1   2   4    
  65536   1   2   3   4    
  131072   3   4   1   2    
  262144   4   1   3   2    
  524288   4   3   2   1    
  1048576   4   1   2   3    
  2097152   1   4   2   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.7898e-02   7.6072e-05   53.84   0.01   0.01   0.02 
  4096   6.9097e-02   1.3496e-04   60.70   0.01   0.01   0.01 
  8192   6.5317e-02   2.5514e-04   64.21   0.00   0.00   0.01 
  16384   6.3066e-02   4.9270e-04   66.51   0.00   0.00   0.00 
  32768   6.2091e-02   9.7017e-04   67.55   0.00   0.00   0.00 
  65536   6.1567e-02   1.9240e-03   68.13   0.00   0.00   0.00 
  131072   6.1249e-02   3.8281e-03   68.48   0.00   0.00   0.00 
  262144   6.1107e-02   7.6383e-03   68.64   0.00   0.00   0.00 
  524288   6.1034e-02   1.5259e-02   68.72   0.00   0.00   0.00 
  1048576   6.1080e-02   3.0540e-02   68.67   0.00   0.00   0.00 
  2097152   6.0787e-02   6.0787e-02   69.00   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   1   3   2   4    
  32768   1   3   2   4    
  65536   3   1   2   4    
  131072   1   2   3   4    
  262144   1   2   4   3    
  524288   4   3   1   2    
  1048576   3   4   2   1    
  2097152   4   1   2   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.9960e-02   7.8086e-05   52.45   0.00   0.00   0.01 
  4096   7.0613e-02   1.3792e-04   59.40   0.00   0.00   0.01 
  8192   6.5811e-02   2.5707e-04   63.73   0.00   0.00   0.00 
  16384   6.3707e-02   4.9771e-04   65.84   0.00   0.00   0.00 
  32768   6.2307e-02   9.7355e-04   67.32   0.00   0.00   0.00 
  65536   6.1648e-02   1.9265e-03   68.04   0.00   0.00   0.00 
  131072   6.1350e-02   3.8344e-03   68.37   0.00   0.00   0.00 
  262144   6.1230e-02   7.6538e-03   68.50   0.00   0.00   0.00 
  524288   6.1045e-02   1.5261e-02   68.71   0.00   0.00   0.00 
  1048576   6.1285e-02   3.0642e-02   68.44   0.00   0.00   0.00 
  2097152   6.1113e-02   6.1113e-02   68.63   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   1   2   4    
  4096   1   3   2   4    
  8192   1   2   4   3    
  16384   1   3   2   4    
  32768   3   2   1   4    
  65536   2   1   4   3    
  131072   1   3   2   4    
  262144   3   4   1   2    
  524288   4   1   3   2    
  1048576   3   1   4   2    
  2097152   3   1   4   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   8.0203e-02   7.8323e-05   52.30   0.00   0.00   0.01 
  4096   7.0818e-02   1.3832e-04   59.23   0.00   0.00   0.01 
  8192   6.5867e-02   2.5729e-04   63.68   0.00   0.00   0.00 
  16384   6.3760e-02   4.9812e-04   65.78   0.00   0.00   0.00 
  32768   6.2369e-02   9.7451e-04   67.25   0.00   0.00   0.00 
  65536   6.1665e-02   1.9270e-03   68.02   0.00   0.00   0.00 
  131072   6.1367e-02   3.8355e-03   68.35   0.00   0.00   0.00 
  262144   6.1228e-02   7.6535e-03   68.50   0.00   0.00   0.00 
  524288   6.1096e-02   1.5274e-02   68.65   0.00   0.00   0.00 
  1048576   6.1253e-02   3.0626e-02   68.48   0.00   0.00   0.00 
  2097152   6.1067e-02   6.1067e-02   68.68   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   1   2   4    
  4096   1   3   2   4    
  8192   1   2   3   4    
  16384   1   2   3   4    
  32768   1   2   3   4    
  65536   3   1   2   4    
  131072   3   4   2   1    
  262144   2   4   3   1    
  524288   4   2   3   1    
  1048576   2   3   1   4    
  2097152   1   3   4   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.9882e-02   7.8010e-05   52.51   0.01   0.01   0.01 
  4096   7.0447e-02   1.3759e-04   59.54   0.00   0.01   0.01 
  8192   6.5634e-02   2.5638e-04   63.90   0.00   0.00   0.00 
  16384   6.3630e-02   4.9711e-04   65.92   0.00   0.00   0.00 
  32768   6.2282e-02   9.7316e-04   67.34   0.00   0.00   0.00 
  65536   6.1617e-02   1.9255e-03   68.07   0.00   0.00   0.00 
  131072   6.1308e-02   3.8317e-03   68.41   0.00   0.00   0.00 
  262144   6.1099e-02   7.6374e-03   68.65   0.00   0.00   0.00 
  524288   6.1065e-02   1.5266e-02   68.69   0.00   0.00   0.00 
  1048576   6.0995e-02   3.0497e-02   68.76   0.00   0.00   0.00 
  2097152   6.0845e-02   6.0845e-02   68.93   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   1   2   4    
  4096   3   1   2   4    
  8192   3   1   2   4    
  16384   1   3   2   4    
  32768   3   1   2   4    
  65536   3   2   1   4    
  131072   1   3   2   4    
  262144   4   2   1   3    
  524288   2   3   4   1    
  1048576   4   3   1   2    
  2097152   3   2   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:04:29 EDT.
86789 accesses since 1/2/96.