PSTSWM AlphaSC-500 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 128KB message using SHMEM between two nodes)

Date/Person: January 26, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (colt.ccs.ornl.gov):
     16 ES40 4-way SMP nodes (500 MHz Alpha 21264 with 4MB L2 cache)
Environment: Digital UNIX V5.0;   RMS 2.36
Communication Library: SHMEM
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 151.34 10.55 5.4%
10 iter. 150.97 9.89 4.6%
1 iter. w/overlap 156.24 11.07 8.6%
10 iter. w/overlap 151.88 11.16 2.3%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 153.93 8.39 20.6%
10 iter. 151.84 7.98 21.5%
1 iter. w/overlap 153.98 8.75 20.2%
10 iter. w/overlap 152.64 8.13 22.1%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 154.99 10.21 8.5%
10 iter. 153.62 10.36 3.0%
1 iter. w/overlap 154.22 11.37 6.9%
10 iter. w/overlap 152.57 11.48 2.7%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
1 iter. 154.37 8.68 20.3%
10 iter. 152.93 8.83 16.7%
1 iter. w/overlap 152.23 9.15 19.7%
10 iter. w/overlap 154.28 8.93 19.5%

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.1067e-02   2.0574e-05   12.44   0.07   0.11   0.12 
  256   1.2477e-02   2.4369e-05   21.01   0.03   0.04   0.06 
  512   7.2150e-03   2.8184e-05   36.33   0.04   0.05   0.07 
  1024   4.5996e-03   3.5934e-05   56.99   0.02   0.02   0.06 
  2048   3.0798e-03   4.8122e-05   85.12   0.00   0.00   0.01 
  4096   2.3412e-03   7.3162e-05   111.97   0.01   0.01   0.03 
  8192   1.9830e-03   1.2394e-04   132.20   0.02   0.03   0.05 
  16384   1.8032e-03   2.2540e-04   145.38   0.01   0.01   0.02 
  32768   1.7398e-03   4.3495e-04   150.67   0.02   0.01   0.06 
  65536   1.6914e-03   8.4570e-04   154.99   0.01   0.01   0.02 
  131072   1.7976e-03   1.7976e-03   145.83   0.01   0.00   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   1   4   3    
  512   1   2   3   4    
  1024   3   1   2   4    
  2048   2   1   3   4    
  4096   1   2   3   4    
  8192   1   2   4   3    
  16384   1   4   2   3    
  32768   2   1   4   3    
  65536   3   4   2   1    
  131072   3   1   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    2   3   4 
  512    1   3   4 
  1024    1   3   4 
  2048    4   4   4 
  4096    2   4   4 
  8192    2   3   4 
  16384    2   4   4 
  32768    2   3   4 
  65536    3   4   4 
  131072    3   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.0537e-02   2.0055e-05   12.76   0.07   0.10   0.13 
  256   1.2361e-02   2.4143e-05   21.21   0.01   0.01   0.03 
  512   7.0564e-03   2.7564e-05   37.15   0.03   0.05   0.06 
  1024   4.3554e-03   3.4026e-05   60.19   0.03   0.04   0.05 
  2048   3.0241e-03   4.7252e-05   86.68   0.02   0.02   0.04 
  4096   2.3509e-03   7.3467e-05   111.51   0.02   0.03   0.03 
  8192   2.0210e-03   1.2631e-04   129.71   0.01   0.01   0.02 
  16384   1.8498e-03   2.3122e-04   141.71   0.01   0.00   0.04 
  32768   1.7804e-03   4.4511e-04   147.24   0.01   0.01   0.02 
  65536   1.7065e-03   8.5323e-04   153.62   0.02   0.02   0.02 
  131072   1.7070e-03   1.7070e-03   153.57   0.01   0.01   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   4   1   3    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   2   3   4    
  4096   1   3   4   2    
  8192   1   4   2   3    
  16384   1   2   4   3    
  32768   3   4   1   2    
  65536   3   4   1   2    
  131072   3   4   2   1    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    3   4   4 
  512    1   3   4 
  1024    1   4   4 
  2048    1   4   4 
  4096    2   4   4 
  8192    3   4   4 
  16384    3   4   4 
  32768    2   4   4 
  65536    1   4   4 
  131072    2   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.1871e-02   2.1358e-05   11.99   0.09   0.16   0.17 
  256   1.2910e-02   2.5214e-05   20.31   0.05   0.08   0.08 
  512   7.7476e-03   3.0264e-05   33.84   0.03   0.04   0.04 
  1024   4.7974e-03   3.7480e-05   54.64   0.01   0.01   0.01 
  2048   3.2226e-03   5.0353e-05   81.35   0.01   0.00   0.05 
  4096   2.3520e-03   7.3500e-05   111.46   0.02   0.02   0.03 
  8192   2.0014e-03   1.2509e-04   130.98   0.02   0.04   0.04 
  16384   1.8194e-03   2.2743e-04   144.08   0.03   0.04   0.07 
  32768   1.7376e-03   4.3440e-04   150.87   0.01   0.00   0.05 
  65536   1.6778e-03   8.3890e-04   156.24   0.01   0.01   0.03 
  131072   1.8018e-03   1.8018e-03   145.49   0.01   0.00   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   4   1   3    
  512   2   4   1   3    
  1024   1   2   3   4    
  2048   3   1   2   4    
  4096   3   2   1   4    
  8192   2   1   3   4    
  16384   1   4   2   3    
  32768   4   2   3   1    
  65536   1   3   2   4    
  131072   2   3   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   2   4 
  512    1   4   4 
  1024    3   4   4 
  2048    3   4   4 
  4096    2   4   4 
  8192    2   4   4 
  16384    1   3   4 
  32768    3   3   4 
  65536    1   4   4 
  131072    3   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   2.1011e-02   2.0519e-05   12.48   0.11   0.17   0.20 
  256   1.2682e-02   2.4770e-05   20.67   0.03   0.05   0.06 
  512   7.5243e-03   2.9392e-05   34.84   0.01   0.01   0.04 
  1024   4.6205e-03   3.6097e-05   56.74   0.01   0.01   0.02 
  2048   3.1508e-03   4.9231e-05   83.20   0.01   0.00   0.02 
  4096   2.3882e-03   7.4632e-05   109.76   0.01   0.01   0.01 
  8192   2.0489e-03   1.2805e-04   127.95   0.00   0.01   0.01 
  16384   1.8632e-03   2.3290e-04   140.69   0.00   0.00   0.01 
  32768   1.7648e-03   4.4120e-04   148.54   0.01   0.01   0.01 
  65536   1.7182e-03   8.5909e-04   152.57   0.00   0.01   0.01 
  131072   1.6991e-03   1.6991e-03   154.28   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   4   1   3    
  512   1   2   3   4    
  1024   2   3   1   4    
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   4   2   3    
  16384   1   3   2   4    
  32768   4   2   1   3    
  65536   3   2   4   1    
  131072   4   2   1   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   4 
  256    1   3   4 
  512    3   4   4 
  1024    3   4   4 
  2048    3   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    3   4   4 
  65536    4   4   4 
  131072    1   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:03:09 EDT.
86316 accesses since 1/2/96.