PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 2MB message using SHMEM between two nodes)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 158.12 10.22 1.2%
10 iter. 161.78 10.36 0.5%
1 iter. w/overlap 158.20 12.52 5.4%
10 iter. w/overlap 161.35 12.22 4.9%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 157.81 11.78 2.6%
10 iter. 161.11 11.30 1.8%
1 iter. w/overlap 159.38 11.87 2.0%
10 iter. w/overlap 161.22 11.99 3.0%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 158.03 10.59 2.4%
10 iter. 160.82 10.84 1.3%
1 iter. w/overlap 158.27 12.12 3.2%
10 iter. w/overlap 161.23 12.12 3.6%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 157.39 11.40 0.8%
10 iter. 161.25 11.36 1.3%
1 iter. w/overlap 158.37 12.62 2.4%
10 iter. w/overlap 161.10 12.60 4.0%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.7647e-02   4.6531e-05   88.03   0.03   0.04   0.04 
  4096   3.7179e-02   7.2616e-05   112.81   0.01   0.01   0.02 
  8192   3.1794e-02   1.2420e-04   131.92   0.01   0.02   0.02 
  16384   2.9175e-02   2.2793e-04   143.77   0.01   0.01   0.03 
  32768   2.7665e-02   4.3227e-04   151.61   0.01   0.01   0.01 
  65536   2.7266e-02   8.5207e-04   153.83   0.00   0.00   0.01 
  131072   2.6736e-02   1.6710e-03   156.88   0.01   0.01   0.01 
  262144   2.6729e-02   3.3411e-03   156.92   0.00   0.00   0.01 
  524288   2.6632e-02   6.6581e-03   157.49   0.00   0.00   0.00 
  1048576   2.6527e-02   1.3263e-02   158.12   0.00   0.00   0.01 
  2097152   2.6859e-02   2.6859e-02   156.16   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   4   2    
  4096   1   2   3   4    
  8192   1   2   3   4    
  16384   2   1   4   3    
  32768   1   2   4   3    
  65536   1   4   2   3    
  131072   3   4   2   1    
  262144   3   1   4   2    
  524288   1   2   4   3    
  1048576   1   3   2   4    
  2097152   1   3   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   4 
  4096    1   4   4 
  8192    1   4   4 
  16384    3   4   4 
  32768    1   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    3   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.7158e-02   4.6053e-05   88.94   0.02   0.03   0.03 
  4096   3.6545e-02   7.1377e-05   114.77   0.01   0.01   0.02 
  8192   3.1118e-02   1.2155e-04   134.79   0.01   0.01   0.01 
  16384   2.8446e-02   2.2223e-04   147.45   0.00   0.00   0.00 
  32768   2.7309e-02   4.2670e-04   153.59   0.00   0.00   0.00 
  65536   2.6629e-02   8.3216e-04   157.51   0.00   0.00   0.00 
  131072   2.6275e-02   1.6422e-03   159.63   0.00   0.00   0.01 
  262144   2.6146e-02   3.2682e-03   160.42   0.00   0.00   0.00 
  524288   2.6034e-02   6.5086e-03   161.11   0.00   0.00   0.00 
  1048576   2.6010e-02   1.3005e-02   161.25   0.00   0.00   0.00 
  2097152   2.5925e-02   2.5925e-02   161.78   0.00   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   1   2   3   4    
  32768   1   3   2   4    
  65536   2   3   4   1    
  131072   1   2   3   4    
  262144   1   4   3   2    
  524288   2   1   4   3    
  1048576   4   2   1   3    
  2097152   1   2   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   4 
  4096    2   4   4 
  8192    2   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   5.0095e-02   4.8921e-05   83.73   0.01   0.00   0.03 
  4096   3.7330e-02   7.2911e-05   112.36   0.02   0.02   0.03 
  8192   3.2063e-02   1.2525e-04   130.81   0.01   0.01   0.02 
  16384   2.9318e-02   2.2905e-04   143.06   0.01   0.01   0.02 
  32768   2.7989e-02   4.3732e-04   149.86   0.00   0.00   0.00 
  65536   2.7084e-02   8.4639e-04   154.86   0.01   0.01   0.01 
  131072   2.6713e-02   1.6695e-03   157.01   0.01   0.01   0.01 
  262144   2.6500e-02   3.3126e-03   158.27   0.01   0.01   0.01 
  524288   2.6485e-02   6.6213e-03   158.37   0.01   0.01   0.01 
  1048576   2.6316e-02   1.3158e-02   159.38   0.01   0.01   0.02 
  2097152   2.6512e-02   2.6512e-02   158.20   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   1   2   4    
  4096   1   3   2   4    
  8192   2   3   1   4    
  16384   2   1   4   3    
  32768   4   3   2   1    
  65536   2   1   4   3    
  131072   3   1   2   4    
  262144   3   4   1   2    
  524288   4   2   3   1    
  1048576   2   1   3   4    
  2097152   1   4   3   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   4   4 
  4096    2   4   4 
  8192    3   4   4 
  16384    3   4   4 
  32768    4   4   4 
  65536    3   4   4 
  131072    3   4   4 
  262144    3   4   4 
  524288    3   4   4 
  1048576    2   4   4 
  2097152    1   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.9221e-02   4.8067e-05   85.21   0.01   0.01   0.02 
  4096   3.6712e-02   7.1703e-05   114.25   0.01   0.01   0.02 
  8192   3.1522e-02   1.2313e-04   133.06   0.01   0.01   0.01 
  16384   2.8640e-02   2.2375e-04   146.45   0.00   0.00   0.01 
  32768   2.7479e-02   4.2936e-04   152.64   0.00   0.00   0.00 
  65536   2.6646e-02   8.3269e-04   157.41   0.00   0.00   0.01 
  131072   2.6353e-02   1.6471e-03   159.16   0.00   0.00   0.00 
  262144   2.6077e-02   3.2596e-03   160.85   0.00   0.00   0.00 
  524288   2.5995e-02   6.4988e-03   161.35   0.00   0.00   0.01 
  1048576   2.6012e-02   1.3006e-02   161.24   0.00   0.00   0.00 
  2097152   2.6032e-02   2.6032e-02   161.12   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2   3   4    
  4096   1   3   2   4    
  8192   1   2   3   4    
  16384   3   1   2   4    
  32768   1   2   3   4    
  65536   2   3   1   4    
  131072   1   4   2   3    
  262144   4   3   1   2    
  524288   1   3   2   4    
  1048576   1   3   2   4    
  2097152   1   4   3   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   4   4 
  4096    1   4   4 
  8192    3   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:03:05 EDT.
86438 accesses since 1/2/96.