PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 8KB message using SHMEM within a node)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 59.53 13.83 15.0%
10 iter. 62.03 13.62 14.2%
1 iter. w/overlap 58.94 12.14 14.4%
10 iter. w/overlap 62.17 11.48 11.9%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 59.45 12.87 18.1%
10 iter. 62.02 12.13 12.5%
1 iter. w/overlap 61.04 11.78 22.6%
10 iter. w/overlap 62.92 10.85 11.7%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2618e-02   1.2322e-05   1.30   0.06   0.11   0.11 
  16   6.0268e-03   1.1771e-05   2.72   0.08   0.16   0.16 
  32   3.0570e-03   1.1941e-05   5.36   0.08   0.15   0.15 
  64   1.6760e-03   1.3094e-05   9.78   0.03   0.06   0.06 
  128   9.3120e-04   1.4550e-05   17.59   0.06   0.12   0.12 
  256   6.0260e-04   1.8831e-05   27.19   0.02   0.04   0.04 
  512   4.5320e-04   2.8325e-05   36.15   0.05   0.09   0.09 
  1024   3.5540e-04   4.4425e-05   46.10   0.02   0.03   0.03 
  2048   3.0820e-04   7.7050e-05   53.16   0.01   0.02   0.02 
  4096   2.8200e-04   1.4100e-04   58.10   0.01   0.03   0.03 
  8192   2.7520e-04   2.7520e-04   59.53   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   2   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2393e-02   1.2103e-05   1.32   0.06   0.12   0.12 
  16   6.1837e-03   1.2078e-05   2.65   0.06   0.13   0.13 
  32   3.1259e-03   1.2211e-05   5.24   0.06   0.12   0.12 
  64   1.6606e-03   1.2973e-05   9.87   0.04   0.07   0.07 
  128   9.2488e-04   1.4451e-05   17.71   0.05   0.10   0.10 
  256   6.0764e-04   1.8989e-05   26.96   0.00   0.01   0.01 
  512   4.3832e-04   2.7395e-05   37.38   0.03   0.06   0.06 
  1024   3.4632e-04   4.3290e-05   47.31   0.02   0.04   0.04 
  2048   2.9790e-04   7.4475e-05   55.00   0.01   0.02   0.02 
  4096   2.7288e-04   1.3644e-04   60.04   0.00   0.00   0.00 
  8192   2.6412e-04   2.6412e-04   62.03   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    2   2   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.1501e-02   1.1232e-05   1.42   0.03   0.06   0.06 
  16   5.4702e-03   1.0684e-05   3.00   0.05   0.09   0.09 
  32   2.8030e-03   1.0949e-05   5.85   0.07   0.15   0.15 
  64   1.4486e-03   1.1317e-05   11.31   0.10   0.20   0.20 
  128   8.5580e-04   1.3372e-05   19.14   0.08   0.16   0.16 
  256   5.3720e-04   1.6788e-05   30.50   0.04   0.08   0.08 
  512   4.4260e-04   2.7663e-05   37.02   0.01   0.02   0.02 
  1024   3.6280e-04   4.5350e-05   45.16   0.00   0.00   0.00 
  2048   3.1060e-04   7.7650e-05   52.75   0.00   0.00   0.00 
  4096   2.8080e-04   1.4040e-04   58.35   0.02   0.03   0.03 
  8192   2.6840e-04   2.6840e-04   61.04   0.02   0.04   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   2   1          
  2048   2   1          
  4096   2   1          
  8192   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   2   2 
  1024    2   2   2 
  2048    2   2   2 
  4096    1   2   2 
  8192    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.1309e-02   1.1044e-05   1.45   0.02   0.04   0.04 
  16   5.7553e-03   1.1241e-05   2.85   0.01   0.02   0.02 
  32   2.9213e-03   1.1411e-05   5.61   0.05   0.10   0.10 
  64   1.5201e-03   1.1876e-05   10.78   0.07   0.15   0.15 
  128   8.5452e-04   1.3352e-05   19.17   0.07   0.14   0.14 
  256   5.5910e-04   1.7472e-05   29.30   0.00   0.01   0.01 
  512   4.2646e-04   2.6654e-05   38.42   0.03   0.06   0.06 
  1024   3.4424e-04   4.3030e-05   47.59   0.02   0.04   0.04 
  2048   2.9744e-04   7.4360e-05   55.08   0.01   0.02   0.02 
  4096   2.7314e-04   1.3657e-04   59.98   0.01   0.02   0.02 
  8192   2.6040e-04   2.6040e-04   62.92   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   2 
  16    1   2   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    2   2   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    1   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:20 EDT.
86211 accesses since 1/2/96.