PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 8KB message using SHMEM within a node)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 57.73 10.24 13.0%
10 iter. 60.85 9.95 11.8%
1 iter. w/overlap 56.23 10.66 9.6%
10 iter. w/overlap 60.19 10.53 8.5%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 58.35 8.93 9.6%
10 iter. 60.16 8.71 8.4%
1 iter. w/overlap 58.64 9.29 9.9%
10 iter. w/overlap 61.10 9.44 8.0%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 56.89 10.45 13.0%
10 iter. 60.30 10.11 12.9%
1 iter. w/overlap 56.50 10.75 9.9%
10 iter. w/overlap 60.21 10.66 10.4%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 57.29 9.15 10.7%
10 iter. 60.38 8.97 7.2%
1 iter. w/overlap 56.34 9.62 10.4%
10 iter. w/overlap 60.14 9.10 6.8%

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.8147e-02   1.7721e-05   0.90   0.08   0.14   0.17 
  16   9.0062e-03   1.7590e-05   1.82   0.08   0.14   0.17 
  32   4.5050e-03   1.7598e-05   3.64   0.08   0.13   0.17 
  64   2.3408e-03   1.8288e-05   7.00   0.09   0.16   0.17 
  128   1.3084e-03   2.0444e-05   12.52   0.05   0.08   0.10 
  256   7.8700e-04   2.4594e-05   20.82   0.05   0.08   0.11 
  512   5.5160e-04   3.4475e-05   29.70   0.02   0.03   0.05 
  1024   3.9980e-04   4.9975e-05   40.98   0.02   0.02   0.04 
  2048   3.3240e-04   8.3100e-05   49.29   0.02   0.02   0.04 
  4096   2.9920e-04   1.4960e-04   54.76   0.01   0.01   0.02 
  8192   2.8080e-04   2.8080e-04   58.35   0.01   0.02   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   3   1    
  128   2   4   1   3    
  256   4   2   3   1    
  512   1   3   2   4    
  1024   1   2   3   4    
  2048   1   2   3   4    
  4096   1   2   3   4    
  8192   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   4 
  16    1   2   4 
  32    1   2   4 
  64    1   2   4 
  128    1   2   4 
  256    2   2   4 
  512    2   3   4 
  1024    1   4   4 
  2048    1   4   4 
  4096    2   4   4 
  8192    1   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7768e-02   1.7352e-05   0.92   0.09   0.15   0.17 
  16   8.8487e-03   1.7283e-05   1.85   0.09   0.15   0.18 
  32   4.4762e-03   1.7485e-05   3.66   0.08   0.14   0.17 
  64   2.3253e-03   1.8166e-05   7.05   0.07   0.11   0.14 
  128   1.2799e-03   1.9999e-05   12.80   0.07   0.10   0.12 
  256   7.6724e-04   2.3976e-05   21.35   0.05   0.06   0.09 
  512   5.3204e-04   3.3253e-05   30.79   0.03   0.05   0.06 
  1024   3.8318e-04   4.7898e-05   42.76   0.02   0.02   0.03 
  2048   3.2036e-04   8.0090e-05   51.14   0.02   0.02   0.03 
  4096   2.8258e-04   1.4129e-04   57.98   0.01   0.01   0.01 
  8192   2.6924e-04   2.6924e-04   60.85   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   2   4   3   1    
  512   1   3   4   2    
  1024   1   3   2   4    
  2048   3   2   4   1    
  4096   1   2   3   4    
  8192   1   4   3   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   4 
  16    1   2   4 
  32    1   2   4 
  64    1   2   4 
  128    1   2   4 
  256    1   2   4 
  512    1   3   4 
  1024    1   4   4 
  2048    1   4   4 
  4096    2   4   4 
  8192    3   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.8717e-02   1.8278e-05   0.88   0.10   0.18   0.18 
  16   9.2026e-03   1.7974e-05   1.78   0.12   0.21   0.22 
  32   4.6096e-03   1.8006e-05   3.55   0.15   0.27   0.28 
  64   2.4872e-03   1.9431e-05   6.59   0.10   0.19   0.20 
  128   1.3370e-03   2.0891e-05   12.25   0.11   0.19   0.20 
  256   8.1420e-04   2.5444e-05   20.12   0.05   0.09   0.09 
  512   5.8140e-04   3.6338e-05   28.18   0.02   0.02   0.05 
  1024   4.1760e-04   5.2200e-05   39.23   0.03   0.05   0.05 
  2048   3.3820e-04   8.4550e-05   48.44   0.04   0.05   0.06 
  4096   2.9660e-04   1.4830e-04   55.24   0.04   0.04   0.08 
  8192   2.7940e-04   2.7940e-04   58.64   0.03   0.04   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   3   1    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   3   1    
  256   2   4   1   3    
  512   2   1   3   4    
  1024   2   1   3   4    
  2048   2   3   4   1    
  4096   2   4   1   3    
  8192   2   3   4   1    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   4 
  16    1   2   4 
  32    1   2   2 
  64    1   2   4 
  128    1   2   4 
  256    1   2   4 
  512    1   4   4 
  1024    1   3   4 
  2048    1   3   4 
  4096    1   3   4 
  8192    1   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.8887e-02   1.8444e-05   0.87   0.08   0.14   0.16 
  16   9.3166e-03   1.8197e-05   1.76   0.09   0.16   0.18 
  32   4.7250e-03   1.8457e-05   3.47   0.11   0.19   0.21 
  64   2.4930e-03   1.9477e-05   6.57   0.09   0.18   0.19 
  128   1.3603e-03   2.1254e-05   12.04   0.08   0.16   0.17 
  256   8.0014e-04   2.5004e-05   20.48   0.06   0.08   0.09 
  512   5.6736e-04   3.5460e-05   28.88   0.03   0.04   0.06 
  1024   4.0812e-04   5.1015e-05   40.15   0.01   0.01   0.03 
  2048   3.3004e-04   8.2510e-05   49.64   0.02   0.03   0.03 
  4096   2.8852e-04   1.4426e-04   56.79   0.01   0.01   0.01 
  8192   2.6816e-04   2.6816e-04   61.10   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   4   2   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   4   2   1   3    
  128   4   2   1   3    
  256   4   2   3   1    
  512   1   2   3   4    
  1024   1   3   2   4    
  2048   1   3   4   2    
  4096   2   3   1   4    
  8192   2   3   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   2   4 
  16    1   2   4 
  32    1   2   4 
  64    2   2   4 
  128    2   2   4 
  256    1   1   4 
  512    1   3   4 
  1024    3   4   4 
  2048    1   4   4 
  4096    1   4   4 
  8192    1   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:43 EDT.
86768 accesses since 1/2/96.