PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 128KB message using SHMEM within a node)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.25 12.73 6.9%
10 iter. 65.41 12.43 6.7%
1 iter. w/overlap 65.03 13.02 18.2%
10 iter. w/overlap 65.39 12.63 17.3%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 65.05 11.33 25.6%
10 iter. 65.54 10.70 8.3%
1 iter. w/overlap 64.91 10.84 26.2%
10 iter. w/overlap 65.31 9.02 11.1%

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.5024e-02   1.4672e-05   17.45   0.04   0.09   0.09 
  256   9.2238e-03   1.8015e-05   28.42   0.03   0.07   0.07 
  512   7.0636e-03   2.7592e-05   37.11   0.16   0.32   0.32 
  1024   5.4700e-03   4.2734e-05   47.92   0.02   0.04   0.04 
  2048   4.7686e-03   7.4509e-05   54.97   0.01   0.02   0.02 
  4096   4.3738e-03   1.3668e-04   59.94   0.00   0.01   0.01 
  8192   4.2246e-03   2.6404e-04   62.05   0.00   0.00   0.00 
  16384   4.1324e-03   5.1655e-04   63.44   0.00   0.01   0.01 
  32768   4.0582e-03   1.0145e-03   64.60   0.00   0.00   0.00 
  65536   4.0174e-03   2.0087e-03   65.25   0.00   0.01   0.01 
  131072   4.0300e-03   4.0300e-03   65.05   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   2   1          
  8192   2   1          
  16384   1   2          
  32768   2   1          
  65536   1   2          
  131072   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   2 
  512    1   1   1 
  1024    1   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4733e-02   1.4388e-05   17.79   0.05   0.09   0.09 
  256   9.2566e-03   1.8079e-05   28.32   0.03   0.05   0.05 
  512   7.0141e-03   2.7399e-05   37.37   0.02   0.05   0.05 
  1024   5.4903e-03   4.2893e-05   47.75   0.02   0.04   0.04 
  2048   4.7535e-03   7.4274e-05   55.15   0.01   0.02   0.02 
  4096   4.3419e-03   1.3568e-04   60.38   0.00   0.01   0.01 
  8192   4.1998e-03   2.6249e-04   62.42   0.00   0.00   0.00 
  16384   4.0988e-03   5.1235e-04   63.96   0.00   0.00   0.00 
  32768   4.0326e-03   1.0081e-03   65.01   0.00   0.00   0.00 
  65536   4.0262e-03   2.0131e-03   65.11   0.00   0.00   0.00 
  131072   3.9996e-03   3.9996e-03   65.54   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   2   1          
  65536   2   1          
  131072   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   2 
  512    1   2   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.3766e-02   1.3444e-05   19.04   0.07   0.14   0.14 
  256   8.2160e-03   1.6047e-05   31.91   0.05   0.10   0.10 
  512   6.8664e-03   2.6822e-05   38.18   0.17   0.34   0.34 
  1024   5.6844e-03   4.4409e-05   46.12   0.02   0.04   0.04 
  2048   4.7628e-03   7.4419e-05   55.04   0.01   0.03   0.03 
  4096   4.4348e-03   1.3859e-04   59.11   0.00   0.01   0.01 
  8192   4.2092e-03   2.6307e-04   62.28   0.00   0.00   0.00 
  16384   4.1142e-03   5.1428e-04   63.72   0.00   0.00   0.00 
  32768   4.0590e-03   1.0148e-03   64.58   0.00   0.00   0.00 
  65536   4.0354e-03   2.0177e-03   64.96   0.00   0.00   0.00 
  131072   4.0314e-03   4.0314e-03   65.03   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   2   1          
  8192   1   2          
  16384   1   2          
  32768   2   1          
  65536   1   2          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   2 
  512    1   1   1 
  1024    1   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.3586e-02   1.3267e-05   19.30   0.07   0.13   0.13 
  256   8.9258e-03   1.7433e-05   29.37   0.00   0.00   0.00 
  512   6.7106e-03   2.6213e-05   39.06   0.03   0.06   0.06 
  1024   5.4612e-03   4.2666e-05   48.00   0.02   0.05   0.05 
  2048   4.7404e-03   7.4069e-05   55.30   0.01   0.02   0.02 
  4096   4.3543e-03   1.3607e-04   60.20   0.01   0.01   0.01 
  8192   4.1785e-03   2.6116e-04   62.74   0.00   0.01   0.01 
  16384   4.1077e-03   5.1346e-04   63.82   0.00   0.00   0.00 
  32768   4.0473e-03   1.0118e-03   64.77   0.00   0.00   0.00 
  65536   4.0200e-03   2.0100e-03   65.21   0.00   0.00   0.00 
  131072   4.0089e-03   4.0089e-03   65.39   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   1   2          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   2   1          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    2   2   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:15 EDT.
86757 accesses since 1/2/96.