PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 8KB message using MPI within a node)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 219.04 5.05 52.0%
1 iter. 362.48 4.96 55.8%
10 iter. 373.38 5.02 55.0%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 187.46 5.22 51.5%
1 iter. 335.74 5.36 54.5%
10 iter. 340.20 5.27 53.7%
cache inv. w/overlap 186.18 5.46 50.8%
1 iter. w/overlap 323.79 5.41 54.5%
10 iter. w/overlap 314.11 5.38 54.6%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 201.28 6.36 48.2%
1 iter. 341.33 6.35 50.4%
10 iter. 346.82 6.38 49.0%
cache inv. w/overlap 220.81 6.53 49.7%
1 iter. w/overlap 362.48 6.48 50.6%
10 iter. w/overlap 357.73 6.97 49.6%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 190.07 6.51 47.9%
1 iter. 337.12 6.59 49.8%
10 iter. 338.79 6.62 48.1%
cache inv. w/overlap 205.83 6.78 48.6%
1 iter. w/overlap 339.92 6.81 49.8%
10 iter. w/overlap 341.19 7.29 51.8%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 175.79 11.48 35.3%
1 iter. 301.18 11.11 40.9%
10 iter. 286.13 11.33 39.6%
cache inv. w/overlap 225.05 6.50 48.3%
1 iter. w/overlap 357.73 6.62 49.5%
10 iter. w/overlap 355.40 7.01 49.1%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 166.17 11.63 35.0%
1 iter. 297.89 11.52 41.9%
10 iter. 278.64 11.73 39.9%
cache inv. w/overlap 201.28 6.98 48.3%
1 iter. w/overlap 326.37 6.90 49.3%
10 iter. w/overlap 334.78 7.33 51.6%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 202.77 7.20 51.4%
1 iter. 329.00 7.41 53.2%
10 iter. 323.79 7.49 52.1%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 187.46 6.51 42.9%
1 iter. 330.32 6.61 46.2%
10 iter. 328.47 6.42 46.8%
cache inv. w/overlap 182.86 6.43 46.7%
1 iter. w/overlap 312.67 5.90 51.8%
10 iter. w/overlap 308.78 6.86 46.3%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 187.46 6.78 46.0%
1 iter. 327.68 6.78 48.3%
10 iter. 332.47 6.89 47.2%
cache inv. w/overlap 220.81 7.28 45.7%
1 iter. w/overlap 350.09 6.98 48.3%
10 iter. w/overlap 344.49 8.22 43.3%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 191.85 7.06 46.3%
1 iter. 317.52 7.13 47.0%
10 iter. 327.29 7.02 46.8%
cache inv. w/overlap 195.51 7.68 44.3%
1 iter. w/overlap 333.01 7.18 48.4%
10 iter. w/overlap 334.64 8.54 45.9%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 214.45 8.09 35.4%
1 iter. 350.09 7.38 40.6%
10 iter. 359.61 7.48 38.8%

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0076e-02   9.8402e-06   1.63   0.50   0.38   1.35 
  16   4.9022e-03   9.5746e-06   3.34   0.53   0.42   1.41 
  32   2.5576e-03   9.9906e-06   6.41   0.49   0.39   1.35 
  64   1.6210e-03   1.2664e-05   10.11   0.40   0.30   1.15 
  128   9.4840e-04   1.4819e-05   17.28   0.33   0.23   0.97 
  256   6.3520e-04   1.9850e-05   25.79   0.25   0.19   0.67 
  512   4.9320e-04   3.0825e-05   33.22   0.18   0.14   0.47 
  1024   2.7800e-04   3.4750e-05   58.94   0.14   0.12   0.41 
  2048   1.5640e-04   3.9100e-05   104.76   0.15   0.14   0.38 
  4096   1.0860e-04   5.4300e-05   150.87   0.13   0.11   0.30 
  8192   7.4200e-05   7.4200e-05   220.81   0.14   0.12   0.27 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   2   3   7 
  16   0   1   2   3   7 
  32   0   1   2   7   3 
  64   0   1   7   2   3 
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   7   10   1   2 
  1024   0   10   1   7   8 
  2048   0   10   1   7   2 
  4096   0   10   2   1   3 
  8192   0   10   6   2   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   4 
  128    1   1   6 
  256    1   1   8 
  512    1   1   8 
  1024    2   3   9 
  2048    1   1   9 
  4096    1   2   9 
  8192    1   1   10 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.9660e-03   9.7324e-06   1.64   0.51   0.38   1.37 
  16   4.8832e-03   9.5375e-06   3.36   0.53   0.40   1.41 
  32   2.5052e-03   9.7859e-06   6.54   0.51   0.38   1.36 
  64   1.5788e-03   1.2334e-05   10.38   0.41   0.30   1.22 
  128   9.1800e-04   1.4344e-05   17.85   0.35   0.24   1.01 
  256   6.0860e-04   1.9019e-05   26.92   0.25   0.18   0.69 
  512   4.6200e-04   2.8875e-05   35.46   0.17   0.12   0.46 
  1024   2.3240e-04   2.9050e-05   70.50   0.18   0.13   0.47 
  2048   1.2520e-04   3.1300e-05   130.86   0.15   0.11   0.38 
  4096   7.3000e-05   3.6500e-05   224.44   0.11   0.09   0.31 
  8192   4.4600e-05   4.4600e-05   367.35   0.13   0.13   0.25 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   2   3   7 
  16   0   1   2   3   7 
  32   0   1   2   3   7 
  64   0   1   7   2   3 
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   10   1   7   2 
  1024   0   1   10   7   2 
  2048   0   10   1   7   2 
  4096   0   1   10   7   2 
  8192   0   10   2   1   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   4 
  128    1   1   6 
  256    1   2   8 
  512    1   3   8 
  1024    1   1   8 
  2048    1   3   8 
  4096    2   4   9 
  8192    1   1   10 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0050e-02   9.8149e-06   1.63   0.50   0.38   1.37 
  16   4.9062e-03   9.5823e-06   3.34   0.53   0.39   1.41 
  32   2.5075e-03   9.7950e-06   6.53   0.51   0.38   1.36 
  64   1.5767e-03   1.2318e-05   10.39   0.41   0.31   1.21 
  128   9.1748e-04   1.4336e-05   17.86   0.34   0.23   1.02 
  256   6.0590e-04   1.8934e-05   27.04   0.25   0.18   0.67 
  512   4.5428e-04   2.8392e-05   36.07   0.16   0.10   0.47 
  1024   2.3476e-04   2.9345e-05   69.79   0.16   0.11   0.45 
  2048   1.2404e-04   3.1010e-05   132.09   0.16   0.11   0.43 
  4096   6.9300e-05   3.4650e-05   236.42   0.16   0.11   0.46 
  8192   4.4520e-05   4.4520e-05   368.01   0.12   0.09   0.31 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   2   7   3 
  16   0   1   2   3   7 
  32   0   1   2   3   7 
  64   0   1   7   2   3 
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   10   1   7   2 
  1024   0   10   1   7   2 
  2048   0   10   1   7   2 
  4096   0   10   1   7   8 
  8192   0   10   2   3   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   4 
  128    1   1   6 
  256    1   2   8 
  512    1   3   8 
  1024    1   4   8 
  2048    1   3   8 
  4096    1   3   9 
  8192    1   2   9 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0170e-02   9.9318e-06   1.61   0.36   0.35   0.77 
  16   5.0180e-03   9.8008e-06   3.27   0.37   0.35   0.82 
  32   2.5716e-03   1.0045e-05   6.37   0.36   0.34   0.78 
  64   1.6224e-03   1.2675e-05   10.10   0.30   0.29   0.58 
  128   9.5160e-04   1.4869e-05   17.22   0.25   0.26   0.60 
  256   6.3700e-04   1.9906e-05   25.72   0.18   0.18   0.39 
  512   5.0760e-04   3.1725e-05   32.28   0.11   0.11   0.30 
  1024   2.8160e-04   3.5200e-05   58.18   0.09   0.10   0.21 
  2048   1.5940e-04   3.9850e-05   102.79   0.10   0.11   0.18 
  4096   1.0980e-04   5.4900e-05   149.22   0.07   0.05   0.17 
  8192   7.2200e-05   7.2200e-05   226.93   0.11   0.09   0.25 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   4   2 
  16   0   1   7   2   4 
  32   0   1   7   4   2 
  64   0   1   7   4   2 
  128   0   1   7   4   2 
  256   0   1   10   7   4 
  512   0   10   1   4   7 
  1024   0   10   4   1   2 
  2048   0   10   4   2   1 
  4096   0   4   2   10   8 
  8192   4   0   2   8   10 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   4 
  128    1   1   5 
  256    1   1   8 
  512    1   2   10 
  1024    1   3   11 
  2048    1   2   11 
  4096    2   6   11 
  8192    1   1   11 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0012e-02   9.7775e-06   1.64   0.35   0.38   0.73 
  16   4.9890e-03   9.7441e-06   3.28   0.34   0.36   0.77 
  32   2.5290e-03   9.8789e-06   6.48   0.34   0.36   0.73 
  64   1.5856e-03   1.2387e-05   10.33   0.27   0.30   0.57 
  128   9.2640e-04   1.4475e-05   17.69   0.23   0.21   0.60 
  256   6.1440e-04   1.9200e-05   26.67   0.16   0.18   0.42 
  512   4.6060e-04   2.8787e-05   35.57   0.12   0.11   0.34 
  1024   2.3560e-04   2.9450e-05   69.54   0.11   0.09   0.31 
  2048   1.2720e-04   3.1800e-05   128.81   0.09   0.07   0.25 
  4096   7.0200e-05   3.5100e-05   233.39   0.08   0.08   0.22 
  8192   4.5200e-05   4.5200e-05   362.48   0.07   0.07   0.12 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   2   4 
  16   0   1   7   2   4 
  32   0   1   7   2   4 
  64   0   1   7   4   2 
  128   0   1   7   10   2 
  256   0   10   1   7   2 
  512   0   10   1   7   4 
  1024   0   10   1   7   2 
  2048   0   10   4   1   2 
  4096   0   1   2   10   3 
  8192   2   10   4   0   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   4 
  128    1   1   7 
  256    1   2   10 
  512    1   2   10 
  1024    1   2   10 
  2048    1   3   10 
  4096    1   3   11 
  8192    1   5   11 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0119e-02   9.8817e-06   1.62   0.45   0.46   0.81 
  16   4.9753e-03   9.7173e-06   3.29   0.46   0.46   0.85 
  32   2.5429e-03   9.9330e-06   6.44   0.45   0.45   0.80 
  64   1.5992e-03   1.2493e-05   10.25   0.36   0.36   0.70 
  128   9.2636e-04   1.4474e-05   17.69   0.31   0.30   0.70 
  256   6.1174e-04   1.9117e-05   26.78   0.21   0.21   0.51 
  512   4.7754e-04   2.9846e-05   34.31   0.13   0.12   0.29 
  1024   2.4546e-04   3.0683e-05   66.75   0.13   0.12   0.28 
  2048   1.3050e-04   3.2625e-05   125.55   0.11   0.11   0.24 
  4096   7.2480e-05   3.6240e-05   226.05   0.10   0.11   0.21 
  8192   4.4960e-05   4.4960e-05   364.41   0.07   0.07   0.15 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   2   4 
  16   0   1   2   7   4 
  32   0   1   7   2   4 
  64   0   1   7   2   4 
  128   0   1   7   2   4 
  256   0   1   10   7   2 
  512   0   10   1   7   4 
  1024   10   0   1   7   4 
  2048   0   10   1   7   4 
  4096   0   10   1   7   8 
  8192   0   10   2   4   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   2   2 
  256    1   2   8 
  512    2   3   10 
  1024    2   3   10 
  2048    2   2   11 
  4096    1   2   11 
  8192    2   5   11 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:32 EDT.
86558 accesses since 1/2/96.