PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 2MB message using SHMEM within a node)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.97 9.21 1.5%
10 iter. 66.02 9.19 2.1%
1 iter. w/overlap 65.99 10.35 0.3%
10 iter. w/overlap 66.04 10.19 0.9%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.99 9.69 1.5%
10 iter. 66.23 9.68 1.5%
1 iter. w/overlap 65.94 10.55 0.6%
10 iter. w/overlap 66.22 10.63 0.5%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.90 9.46 1.6%
10 iter. 66.02 9.08 1.5%
1 iter. w/overlap 66.00 10.32 0.4%
10 iter. w/overlap 66.26 10.30 0.5%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.93 9.87 1.4%
10 iter. 66.03 9.70 1.8%
1 iter. w/overlap 65.98 10.62 0.3%
10 iter. w/overlap 66.02 10.51 0.6%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   8.1343e-02   7.9436e-05   51.56   0.01   0.01   0.02 
  4096   7.1907e-02   1.4044e-04   58.33   0.01   0.01   0.01 
  8192   6.8460e-02   2.6742e-04   61.27   0.00   0.00   0.00 
  16384   6.6060e-02   5.1610e-04   63.49   0.00   0.00   0.00 
  32768   6.4748e-02   1.0117e-03   64.78   0.00   0.00   0.00 
  65536   6.4178e-02   2.0056e-03   65.35   0.00   0.00   0.00 
  131072   6.3854e-02   3.9908e-03   65.69   0.00   0.00   0.00 
  262144   6.3692e-02   7.9615e-03   65.85   0.00   0.00   0.00 
  524288   6.3639e-02   1.5910e-02   65.91   0.00   0.00   0.00 
  1048576   6.3594e-02   3.1797e-02   65.95   0.00   0.00   0.00 
  2097152   6.3563e-02   6.3563e-02   65.99   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   3   1   2   4    
  32768   3   1   2   4    
  65536   2   1   3   4    
  131072   1   3   4   2    
  262144   1   2   3   4    
  524288   4   1   2   3    
  1048576   1   2   4   3    
  2097152   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   8.0877e-02   7.8981e-05   51.86   0.01   0.01   0.02 
  4096   7.1463e-02   1.3958e-04   58.69   0.01   0.01   0.01 
  8192   6.8098e-02   2.6601e-04   61.59   0.00   0.01   0.01 
  16384   6.5890e-02   5.1476e-04   63.66   0.00   0.00   0.00 
  32768   6.4590e-02   1.0092e-03   64.94   0.00   0.00   0.00 
  65536   6.3960e-02   1.9988e-03   65.58   0.00   0.00   0.00 
  131072   6.3840e-02   3.9900e-03   65.70   0.00   0.00   0.00 
  262144   6.3647e-02   7.9559e-03   65.90   0.00   0.00   0.00 
  524288   6.3572e-02   1.5893e-02   65.98   0.00   0.00   0.00 
  1048576   6.3521e-02   3.1761e-02   66.03   0.00   0.00   0.00 
  2097152   6.3329e-02   6.3329e-02   66.23   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   1   3   2   4    
  32768   1   3   4   2    
  65536   1   4   2   3    
  131072   3   1   2   4    
  262144   1   3   2   4    
  524288   4   3   1   2    
  1048576   4   3   2   1    
  2097152   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   8.4454e-02   8.2474e-05   49.66   0.00   0.00   0.01 
  4096   7.3890e-02   1.4432e-04   56.76   0.00   0.00   0.00 
  8192   6.8910e-02   2.6918e-04   60.87   0.00   0.00   0.00 
  16384   6.6394e-02   5.1870e-04   63.17   0.00   0.00   0.00 
  32768   6.4985e-02   1.0154e-03   64.54   0.00   0.00   0.00 
  65536   6.4264e-02   2.0082e-03   65.27   0.00   0.00   0.00 
  131072   6.3874e-02   3.9921e-03   65.67   0.00   0.00   0.00 
  262144   6.3664e-02   7.9580e-03   65.88   0.00   0.00   0.00 
  524288   6.3643e-02   1.5911e-02   65.90   0.00   0.00   0.00 
  1048576   6.3565e-02   3.1782e-02   65.98   0.00   0.00   0.00 
  2097152   6.3553e-02   6.3553e-02   66.00   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   1   2   4    
  4096   3   1   2   4    
  8192   1   2   3   4    
  16384   3   2   1   4    
  32768   2   1   4   3    
  65536   3   1   4   2    
  131072   2   3   1   4    
  262144   4   2   1   3    
  524288   3   2   4   1    
  1048576   4   3   2   1    
  2097152   3   1   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    4   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   8.3719e-02   8.1757e-05   50.10   0.01   0.01   0.01 
  4096   7.3283e-02   1.4313e-04   57.23   0.00   0.01   0.01 
  8192   6.8640e-02   2.6812e-04   61.11   0.00   0.00   0.00 
  16384   6.6251e-02   5.1759e-04   63.31   0.00   0.00   0.00 
  32768   6.4845e-02   1.0132e-03   64.68   0.00   0.00   0.00 
  65536   6.4190e-02   2.0060e-03   65.34   0.00   0.00   0.00 
  131072   6.3851e-02   3.9907e-03   65.69   0.00   0.00   0.00 
  262144   6.3688e-02   7.9610e-03   65.86   0.00   0.00   0.00 
  524288   6.3340e-02   1.5835e-02   66.22   0.00   0.00   0.00 
  1048576   6.3529e-02   3.1765e-02   66.02   0.00   0.00   0.00 
  2097152   6.3305e-02   6.3305e-02   66.26   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   4   2    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   1   2   3   4    
  32768   3   1   2   4    
  65536   3   4   1   2    
  131072   2   3   4   1    
  262144   2   1   3   4    
  524288   2   4   3   1    
  1048576   4   1   2   3    
  2097152   3   1   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   4   4 
  4096    4   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:30 EDT.
86024 accesses since 1/2/96.