PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 8KB message using SHMEM between two nodes)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 106.53 14.21 20.4%
10 iter. 126.17 13.62 10.5%
1 iter. w/overlap 110.85 11.47 17.9%
10 iter. w/overlap 125.32 11.42 17.5%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 104.22 11.94 15.2%
10 iter. 114.75 11.74 14.0%
1 iter. w/overlap 111.00 10.51 14.2%
10 iter. w/overlap 118.98 9.73 11.5%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2151e-02   1.1866e-05   1.35   0.10   0.19   0.19 
  16   6.0382e-03   1.1793e-05   2.71   0.10   0.19   0.19 
  32   3.0454e-03   1.1896e-05   5.38   0.07   0.15   0.15 
  64   1.6106e-03   1.2583e-05   10.17   0.05   0.11   0.11 
  128   8.7940e-04   1.3741e-05   18.63   0.08   0.15   0.15 
  256   5.4900e-04   1.7156e-05   29.84   0.04   0.07   0.07 
  512   3.3440e-04   2.0900e-05   49.00   0.03   0.05   0.05 
  1024   2.2960e-04   2.8700e-05   71.36   0.00   0.00   0.00 
  2048   1.7500e-04   4.3750e-05   93.62   0.03   0.06   0.06 
  4096   1.5380e-04   7.6900e-05   106.53   0.01   0.02   0.02 
  8192   1.6960e-04   1.6960e-04   96.60   0.02   0.04   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   2   1          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   1   2 
  1024    2   2   2 
  2048    1   1   2 
  4096    1   2   2 
  8192    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2054e-02   1.1772e-05   1.36   0.08   0.16   0.16 
  16   6.0450e-03   1.1807e-05   2.71   0.08   0.16   0.16 
  32   3.0887e-03   1.2065e-05   5.30   0.07   0.15   0.15 
  64   1.5964e-03   1.2472e-05   10.26   0.06   0.11   0.11 
  128   8.6312e-04   1.3486e-05   18.98   0.08   0.17   0.17 
  256   5.2566e-04   1.6427e-05   31.17   0.05   0.10   0.10 
  512   3.2516e-04   2.0323e-05   50.39   0.04   0.08   0.08 
  1024   2.1760e-04   2.7200e-05   75.29   0.02   0.04   0.04 
  2048   1.6796e-04   4.1990e-05   97.55   0.01   0.01   0.01 
  4096   1.4280e-04   7.1400e-05   114.73   0.01   0.02   0.02 
  8192   1.2986e-04   1.2986e-04   126.17   0.05   0.10   0.10 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   2   1          
  1024   2   1          
  2048   2   1          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0375e-02   1.0132e-05   1.58   0.08   0.15   0.15 
  16   4.9940e-03   9.7539e-06   3.28   0.11   0.22   0.22 
  32   2.5692e-03   1.0036e-05   6.38   0.12   0.23   0.23 
  64   1.3184e-03   1.0300e-05   12.43   0.16   0.32   0.32 
  128   7.3980e-04   1.1559e-05   22.15   0.15   0.29   0.29 
  256   4.5140e-04   1.4106e-05   36.30   0.12   0.23   0.23 
  512   3.0740e-04   1.9212e-05   53.30   0.05   0.11   0.11 
  1024   2.2100e-04   2.7625e-05   74.14   0.02   0.03   0.03 
  2048   1.7420e-04   4.3550e-05   94.05   0.00   0.00   0.00 
  4096   1.4760e-04   7.3800e-05   111.00   0.00   0.00   0.00 
  8192   1.5620e-04   1.5620e-04   104.89   0.12   0.24   0.24 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   2   1          
  1024   2   1          
  2048   2   1          
  4096   2   1          
  8192   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   1 
  128    1   1   1 
  256    1   1   2 
  512    1   1   2 
  1024    1   2   2 
  2048    2   2   2 
  4096    2   2   2 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0032e-02   9.7972e-06   1.63   0.09   0.17   0.17 
  16   5.0499e-03   9.8631e-06   3.24   0.08   0.17   0.17 
  32   2.5815e-03   1.0084e-05   6.35   0.12   0.23   0.23 
  64   1.3690e-03   1.0695e-05   11.97   0.13   0.26   0.26 
  128   7.5864e-04   1.1854e-05   21.60   0.12   0.23   0.23 
  256   4.5466e-04   1.4208e-05   36.04   0.11   0.21   0.21 
  512   3.1446e-04   1.9654e-05   52.10   0.01   0.03   0.03 
  1024   2.0796e-04   2.5995e-05   78.78   0.02   0.05   0.05 
  2048   1.5934e-04   3.9835e-05   102.82   0.00   0.01   0.01 
  4096   1.3074e-04   6.5370e-05   125.32   0.04   0.08   0.08 
  8192   1.3326e-04   1.3326e-04   122.95   0.02   0.03   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   2   1          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   1 
  128    1   1   2 
  256    1   1   2 
  512    1   2   2 
  1024    1   2   2 
  2048    2   2   2 
  4096    1   1   2 
  8192    1   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:58 EDT.
86551 accesses since 1/2/96.