PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 2MB message using SHMEM between two nodes)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 158.85 13.57 11.5%
1 iter. 158.66 14.56 11.2%
10 iter. 160.90 15.67 11.7%
cache inv. w/overlap 159.10 13.25 11.4%
1 iter. w/overlap 157.23 12.67 10.6%
10 iter. w/overlap 159.99 12.65 11.2%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 141.54 10.38 1.8%
1 iter. 140.80 10.89 0.3%
10 iter. 141.94 11.11 0.6%
cache inv. w/overlap 141.14 10.85 1.7%
1 iter. w/overlap 140.50 10.32 0.8%
10 iter. w/overlap 142.04 10.09 1.4%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.9275e-02   3.8354e-05   106.79   0.02   0.04   0.04 
  4096   3.2328e-02   6.3141e-05   129.74   0.05   0.10   0.10 
  8192   2.8592e-02   1.1169e-04   146.70   0.07   0.14   0.14 
  16384   2.6404e-02   2.0628e-04   158.85   0.09   0.18   0.18 
  32768   2.6433e-02   4.1301e-04   158.68   0.08   0.15   0.15 
  65536   2.8105e-02   8.7827e-04   149.24   0.03   0.07   0.07 
  131072   2.8897e-02   1.8060e-03   145.15   0.02   0.04   0.04 
  262144   2.9273e-02   3.6591e-03   143.28   0.01   0.02   0.02 
  524288   2.9493e-02   7.3732e-03   142.22   0.00   0.00   0.00 
  1048576   2.9729e-02   1.4865e-02   141.08   0.00   0.00   0.00 
  2097152   2.9826e-02   2.9826e-02   140.62   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   1   2          
  524288   1   2          
  1048576   1   2          
  2097152   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 
  262144    1   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.9491e-02   3.8565e-05   106.21   0.02   0.04   0.04 
  4096   3.2034e-02   6.2566e-05   130.93   0.05   0.11   0.11 
  8192   2.8745e-02   1.1228e-04   145.92   0.07   0.13   0.13 
  16384   2.6604e-02   2.0785e-04   157.66   0.09   0.18   0.18 
  32768   2.6435e-02   4.1305e-04   158.66   0.08   0.15   0.15 
  65536   2.8039e-02   8.7622e-04   149.59   0.04   0.07   0.07 
  131072   2.8990e-02   1.8119e-03   144.68   0.02   0.03   0.03 
  262144   2.9390e-02   3.6737e-03   142.71   0.01   0.01   0.01 
  524288   2.9606e-02   7.4014e-03   141.67   0.00   0.01   0.01 
  1048576   2.9799e-02   1.4899e-02   140.75   0.00   0.00   0.00 
  2097152   2.9785e-02   2.9785e-02   140.82   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   1   2          
  524288   1   2          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 
  262144    1   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.9835e-02   3.8901e-05   105.29   0.01   0.02   0.02 
  4096   3.1812e-02   6.2134e-05   131.85   0.05   0.10   0.10 
  8192   2.8302e-02   1.1055e-04   148.20   0.07   0.14   0.14 
  16384   2.6298e-02   2.0545e-04   159.49   0.09   0.18   0.18 
  32768   2.6067e-02   4.0730e-04   160.90   0.08   0.16   0.16 
  65536   2.7829e-02   8.6966e-04   150.72   0.04   0.07   0.07 
  131072   2.8755e-02   1.7972e-03   145.87   0.02   0.04   0.04 
  262144   2.9128e-02   3.6410e-03   144.00   0.01   0.02   0.02 
  524288   2.9323e-02   7.3309e-03   143.04   0.00   0.01   0.01 
  1048576   2.9493e-02   1.4746e-02   142.22   0.00   0.00   0.00 
  2097152   2.9544e-02   2.9544e-02   141.97   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   1   2          
  524288   1   2          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 
  262144    1   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.8141e-02   3.7247e-05   109.97   0.03   0.05   0.05 
  4096   3.1358e-02   6.1245e-05   133.76   0.05   0.11   0.11 
  8192   2.8121e-02   1.0985e-04   149.15   0.07   0.15   0.15 
  16384   2.6626e-02   2.0801e-04   157.53   0.08   0.16   0.16 
  32768   2.6362e-02   4.1191e-04   159.10   0.07   0.15   0.15 
  65536   2.8003e-02   8.7509e-04   149.78   0.04   0.07   0.07 
  131072   2.8911e-02   1.8070e-03   145.08   0.02   0.03   0.03 
  262144   2.9213e-02   3.6516e-03   143.58   0.01   0.02   0.02 
  524288   2.9460e-02   7.3649e-03   142.37   0.00   0.01   0.01 
  1048576   2.9798e-02   1.4899e-02   140.76   0.00   0.00   0.00 
  2097152   2.9755e-02   2.9755e-02   140.96   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   1   2          
  524288   1   2          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   1   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 
  262144    1   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.7751e-02   3.6866e-05   111.10   0.03   0.06   0.06 
  4096   3.1267e-02   6.1068e-05   134.15   0.06   0.11   0.11 
  8192   2.8158e-02   1.0999e-04   148.95   0.08   0.15   0.15 
  16384   2.6677e-02   2.0841e-04   157.23   0.08   0.17   0.17 
  32768   2.6778e-02   4.1841e-04   156.63   0.07   0.13   0.13 
  65536   2.8237e-02   8.8241e-04   148.54   0.03   0.07   0.07 
  131072   2.8948e-02   1.8092e-03   144.89   0.02   0.03   0.03 
  262144   2.9375e-02   3.6719e-03   142.78   0.01   0.02   0.02 
  524288   2.9636e-02   7.4089e-03   141.53   0.00   0.01   0.01 
  1048576   2.9871e-02   1.4935e-02   140.41   0.00   0.00   0.00 
  2097152   2.9816e-02   2.9816e-02   140.67   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   1   2          
  524288   1   2          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   1   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 
  262144    1   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.7531e-02   3.6652e-05   111.75   0.02   0.05   0.05 
  4096   3.1053e-02   6.0651e-05   135.07   0.05   0.10   0.10 
  8192   2.7801e-02   1.0860e-04   150.87   0.08   0.15   0.15 
  16384   2.6237e-02   2.0498e-04   159.86   0.09   0.18   0.18 
  32768   2.6216e-02   4.0962e-04   159.99   0.07   0.15   0.15 
  65536   2.7956e-02   8.7363e-04   150.03   0.03   0.07   0.07 
  131072   2.8723e-02   1.7952e-03   146.03   0.02   0.04   0.04 
  262144   2.9205e-02   3.6506e-03   143.62   0.01   0.02   0.02 
  524288   2.9361e-02   7.3403e-03   142.85   0.00   0.01   0.01 
  1048576   2.9480e-02   1.4740e-02   142.28   0.00   0.01   0.01 
  2097152   2.9524e-02   2.9524e-02   142.06   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   1   2          
  524288   1   2          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 
  262144    1   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:05:06 EDT.
86332 accesses since 1/2/96.