PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 2MB message using SHMEM within a node)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.95 13.24 1.5%
10 iter. 66.04 12.98 1.7%
1 iter. w/overlap 65.96 12.46 0.7%
10 iter. w/overlap 66.18 11.89 0.7%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.94 14.60 1.8%
10 iter. 66.03 14.52 1.9%
1 iter. w/overlap 65.98 14.07 0.4%
10 iter. w/overlap 66.03 13.98 0.8%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.6111e-02   7.4327e-05   55.11   0.01   0.02   0.02 
  4096   6.9333e-02   1.3542e-04   60.49   0.00   0.01   0.01 
  8192   6.7137e-02   2.6225e-04   62.47   0.00   0.00   0.00 
  16384   6.5504e-02   5.1175e-04   64.03   0.00   0.00   0.00 
  32768   6.4558e-02   1.0087e-03   64.97   0.00   0.00   0.00 
  65536   6.4009e-02   2.0003e-03   65.53   0.00   0.00   0.00 
  131072   6.3896e-02   3.9935e-03   65.64   0.00   0.00   0.00 
  262144   6.3681e-02   7.9601e-03   65.86   0.00   0.00   0.00 
  524288   6.3677e-02   1.5919e-02   65.87   0.00   0.00   0.00 
  1048576   6.3602e-02   3.1801e-02   65.95   0.00   0.00   0.00 
  2097152   6.3602e-02   6.3602e-02   65.95   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   2   1          
  65536   1   2          
  131072   1   2          
  262144   1   2          
  524288   2   1          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.5637e-02   7.3864e-05   55.45   0.01   0.02   0.02 
  4096   6.8989e-02   1.3474e-04   60.80   0.00   0.01   0.01 
  8192   6.6954e-02   2.6154e-04   62.64   0.00   0.00   0.00 
  16384   6.5276e-02   5.0997e-04   64.25   0.00   0.00   0.00 
  32768   6.4400e-02   1.0062e-03   65.13   0.00   0.00   0.00 
  65536   6.3984e-02   1.9995e-03   65.55   0.00   0.00   0.00 
  131072   6.3789e-02   3.9868e-03   65.75   0.00   0.00   0.00 
  262144   6.3655e-02   7.9569e-03   65.89   0.00   0.00   0.00 
  524288   6.3586e-02   1.5897e-02   65.96   0.00   0.00   0.00 
  1048576   6.3509e-02   3.1754e-02   66.04   0.00   0.00   0.00 
  2097152   6.3515e-02   6.3515e-02   66.04   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   2   1          
  131072   1   2          
  262144   2   1          
  524288   1   2          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.5990e-02   7.4209e-05   55.20   0.01   0.02   0.02 
  4096   6.9610e-02   1.3596e-04   60.25   0.01   0.01   0.01 
  8192   6.6658e-02   2.6038e-04   62.92   0.00   0.01   0.01 
  16384   6.5552e-02   5.1212e-04   63.98   0.00   0.00   0.00 
  32768   6.4564e-02   1.0088e-03   64.96   0.00   0.00   0.00 
  65536   6.3973e-02   1.9991e-03   65.56   0.00   0.00   0.00 
  131072   6.3868e-02   3.9918e-03   65.67   0.00   0.00   0.00 
  262144   6.3724e-02   7.9655e-03   65.82   0.00   0.00   0.00 
  524288   6.3633e-02   1.5908e-02   65.91   0.00   0.00   0.00 
  1048576   6.3611e-02   3.1806e-02   65.94   0.00   0.00   0.00 
  2097152   6.3572e-02   6.3572e-02   65.98   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   2   1          
  524288   1   2          
  1048576   1   2          
  2097152   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    1   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.5432e-02   7.3664e-05   55.60   0.01   0.02   0.02 
  4096   6.9342e-02   1.3543e-04   60.49   0.01   0.01   0.01 
  8192   6.6281e-02   2.5891e-04   63.28   0.00   0.01   0.01 
  16384   6.5344e-02   5.1050e-04   64.19   0.00   0.00   0.00 
  32768   6.4414e-02   1.0065e-03   65.11   0.00   0.00   0.00 
  65536   6.3944e-02   1.9983e-03   65.59   0.00   0.00   0.00 
  131072   6.3802e-02   3.9876e-03   65.74   0.00   0.00   0.00 
  262144   6.3379e-02   7.9223e-03   66.18   0.00   0.00   0.00 
  524288   6.3589e-02   1.5897e-02   65.96   0.00   0.00   0.00 
  1048576   6.3536e-02   3.1768e-02   66.01   0.00   0.00   0.00 
  2097152   6.3524e-02   6.3524e-02   66.03   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   2   1          
  262144   1   2          
  524288   2   1          
  1048576   1   2          
  2097152   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    1   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:09 EDT.
86760 accesses since 1/2/96.