PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 8KB message using MPI between two nodes)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 160.00 9.44 19.7%
1 iter. 176.55 8.87 23.4%
10 iter. 204.14 8.82 19.3%
cache inv. w/overlap 155.45 9.90 15.9%
1 iter. w/overlap 181.24 10.21 19.8%
10 iter. w/overlap 208.82 8.36 27.2%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 177.70 7.65 31.7%
1 iter. 209.51 7.62 31.4%
10 iter. 215.01 7.87 28.3%
cache inv. w/overlap 193.21 7.68 34.1%
1 iter. w/overlap 213.89 7.94 31.5%
10 iter. w/overlap 220.10 7.73 32.2%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 176.93 8.37 25.0%
1 iter. 203.78 8.17 28.2%
10 iter. 214.56 8.08 26.5%
cache inv. w/overlap 193.66 8.04 28.9%
1 iter. w/overlap 217.29 8.13 27.6%
10 iter. w/overlap 226.74 8.42 25.4%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 153.98 15.74 18.1%
1 iter. 189.63 15.37 19.3%
10 iter. 193.76 15.38 18.2%
cache inv. w/overlap 190.07 7.70 32.7%
1 iter. w/overlap 213.89 7.74 32.7%
10 iter. w/overlap 221.47 7.72 32.6%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 159.07 15.56 17.5%
1 iter. 190.96 15.68 18.3%
10 iter. 193.80 15.84 18.7%
cache inv. w/overlap 195.98 8.40 27.9%
1 iter. w/overlap 216.72 8.23 27.2%
10 iter. w/overlap 225.55 8.49 25.5%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 190.51 7.71 31.4%
1 iter. 207.92 7.68 30.8%
10 iter. 215.58 7.83 28.5%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 174.30 10.16 18.0%
1 iter. 193.66 10.12 17.6%
10 iter. 202.47 10.44 15.2%
cache inv. w/overlap 169.26 9.04 25.4%
1 iter. w/overlap 192.75 8.97 22.6%
10 iter. w/overlap 215.81 8.76 22.0%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 174.67 10.67 18.2%
1 iter. 209.51 11.14 14.2%
10 iter. 213.11 10.97 14.3%
cache inv. w/overlap 192.75 10.54 20.7%
1 iter. w/overlap 216.72 11.44 15.1%
10 iter. w/overlap 220.57 10.77 16.3%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 182.04 10.00 17.4%
1 iter. 207.92 9.88 18.4%
10 iter. 211.73 9.90 16.4%
cache inv. w/overlap 196.45 8.74 25.4%
1 iter. w/overlap 217.29 9.06 22.9%
10 iter. w/overlap 223.46 9.11 22.7%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.8016e-03   7.6187e-06   2.10   0.37   0.29   1.06 
  16   3.8738e-03   7.5660e-06   4.23   0.35   0.27   1.09 
  32   1.9772e-03   7.7234e-06   8.29   0.35   0.26   1.04 
  64   1.1938e-03   9.3266e-06   13.72   0.26   0.09   0.83 
  128   6.6860e-04   1.0447e-05   24.50   0.25   0.08   0.80 
  256   3.8220e-04   1.1944e-05   42.87   0.30   0.12   0.86 
  512   3.0180e-04   1.8863e-05   54.29   0.12   0.04   0.45 
  1024   1.9520e-04   2.4400e-05   83.93   0.11   0.04   0.40 
  2048   1.3100e-04   3.2750e-05   125.07   0.10   0.05   0.34 
  4096   1.0520e-04   5.2600e-05   155.74   0.08   0.03   0.28 
  8192   8.8200e-05   8.8200e-05   185.76   0.08   0.06   0.20 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   6   3   1   9 
  16   6   2   3   1   7 
  32   6   2   3   1   9 
  64   6   2   3   7   1 
  128   2   6   3   7   1 
  256   1   7   6   2   3 
  512   3   9   6   7   2 
  1024   9   3   6   8   2 
  2048   2   3   9   6   7 
  4096   6   2   8   9   3 
  8192   3   9   6   8   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   2   4 
  16    2   2   4 
  32    2   2   4 
  64    2   2   6 
  128    2   4   6 
  256    1   1   5 
  512    2   6   7 
  1024    3   6   7 
  2048    2   4   7 
  4096    2   5   8 
  8192    2   4   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.7832e-03   7.6008e-06   2.11   0.36   0.27   1.05 
  16   3.8530e-03   7.5254e-06   4.25   0.36   0.26   1.07 
  32   1.9412e-03   7.5828e-06   8.44   0.35   0.27   1.03 
  64   1.1356e-03   8.8719e-06   14.43   0.28   0.09   0.94 
  128   5.5220e-04   8.6281e-06   29.67   0.42   0.24   1.12 
  256   3.4360e-04   1.0738e-05   47.68   0.36   0.20   0.94 
  512   2.9020e-04   1.8138e-05   56.46   0.10   0.01   0.42 
  1024   1.7520e-04   2.1900e-05   93.52   0.09   0.02   0.34 
  2048   1.1780e-04   2.9450e-05   139.08   0.09   0.03   0.29 
  4096   8.7400e-05   4.3700e-05   187.46   0.08   0.05   0.21 
  8192   7.8000e-05   7.8000e-05   210.05   0.05   0.03   0.11 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   3   1   9 
  16   6   2   3   1   9 
  32   6   2   3   1   9 
  64   1   2   6   7   3 
  128   1   2   6   7   3 
  256   1   7   2   6   3 
  512   9   6   2   8   3 
  1024   6   9   2   3   8 
  2048   3   2   6   9   8 
  4096   3   6   9   2   8 
  8192   6   2   8   9   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   2   4 
  16    1   2   4 
  32    2   2   4 
  64    1   3   6 
  128    1   1   5 
  256    1   1   5 
  512    3   6   7 
  1024    2   6   7 
  2048    2   5   8 
  4096    3   5   9 
  8192    1   5   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.8612e-03   7.6769e-06   2.08   0.36   0.28   1.04 
  16   3.8522e-03   7.5238e-06   4.25   0.37   0.29   1.06 
  32   1.9691e-03   7.6916e-06   8.32   0.35   0.25   1.04 
  64   1.1778e-03   9.2014e-06   13.91   0.25   0.06   0.86 
  128   6.2374e-04   9.7459e-06   26.27   0.27   0.08   0.86 
  256   3.3890e-04   1.0591e-05   48.34   0.36   0.20   0.94 
  512   2.7352e-04   1.7095e-05   59.90   0.12   0.03   0.48 
  1024   1.6986e-04   2.1233e-05   96.46   0.09   0.02   0.35 
  2048   1.1612e-04   2.9030e-05   141.10   0.07   0.02   0.26 
  4096   8.6900e-05   4.3450e-05   188.54   0.07   0.02   0.19 
  8192   7.5240e-05   7.5240e-05   217.76   0.05   0.02   0.13 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   3   1   9 
  16   6   2   3   1   7 
  32   2   6   3   1   7 
  64   2   6   1   3   7 
  128   1   6   2   7   3 
  256   1   7   6   2   3 
  512   7   1   3   6   2 
  1024   1   2   6   3   9 
  2048   2   6   3   8   9 
  4096   6   2   3   9   8 
  8192   8   6   9   3   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   2   4 
  16    1   2   4 
  32    2   3   4 
  64    1   4   6 
  128    1   4   6 
  256    1   1   5 
  512    2   6   7 
  1024    1   7   7 
  2048    3   7   7 
  4096    1   5   9 
  8192    1   5   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.8594e-03   7.6752e-06   2.08   0.12   0.08   0.42 
  16   3.9268e-03   7.6695e-06   4.17   0.12   0.07   0.46 
  32   1.9900e-03   7.7734e-06   8.23   0.12   0.07   0.41 
  64   1.2072e-03   9.4313e-06   13.57   0.07   0.04   0.32 
  128   6.3380e-04   9.9031e-06   25.85   0.12   0.08   0.37 
  256   3.9520e-04   1.2350e-05   41.46   0.10   0.09   0.35 
  512   2.9920e-04   1.8700e-05   54.76   0.04   0.05   0.08 
  1024   1.7440e-04   2.1800e-05   93.94   0.09   0.10   0.16 
  2048   1.1600e-04   2.9000e-05   141.24   0.12   0.11   0.21 
  4096   9.8400e-05   4.9200e-05   166.50   0.07   0.05   0.19 
  8192   8.2200e-05   8.2200e-05   199.32   0.06   0.04   0.19 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   6   3   5 
  16   2   4   6   3   5 
  32   2   4   6   3   5 
  64   2   6   4   7   3 
  128   7   6   1   4   2 
  256   7   1   2   4   5 
  512   9   3   5   4   6 
  1024   5   3   9   2   4 
  2048   3   9   5   4   2 
  4096   9   8   5   4   3 
  8192   4   5   3   9   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    3   4   8 
  16    2   3   8 
  32    3   3   8 
  64    3   5   8 
  128    1   1   8 
  256    1   3   8 
  512    2   7   9 
  1024    1   2   9 
  2048    1   2   9 
  4096    2   5   9 
  8192    2   5   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.8482e-03   7.6643e-06   2.09   0.13   0.07   0.44 
  16   3.8658e-03   7.5504e-06   4.24   0.12   0.07   0.42 
  32   1.9438e-03   7.5930e-06   8.43   0.12   0.09   0.43 
  64   1.1716e-03   9.1531e-06   13.98   0.09   0.05   0.31 
  128   5.9640e-04   9.3187e-06   27.47   0.15   0.13   0.40 
  256   3.4820e-04   1.0881e-05   47.05   0.16   0.14   0.40 
  512   2.8380e-04   1.7738e-05   57.73   0.03   0.04   0.06 
  1024   1.6320e-04   2.0400e-05   100.39   0.06   0.07   0.10 
  2048   1.0780e-04   2.6950e-05   151.99   0.07   0.09   0.15 
  4096   8.6000e-05   4.3000e-05   190.51   0.06   0.04   0.19 
  8192   7.4400e-05   7.4400e-05   220.22   0.05   0.04   0.14 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   4   2   3   5 
  16   2   4   6   3   5 
  32   2   4   6   3   5 
  64   2   4   6   7   3 
  128   7   2   4   6   1 
  256   1   7   2   4   6 
  512   3   5   9   1   7 
  1024   9   5   3   2   6 
  2048   5   9   3   8   2 
  4096   9   3   8   2   5 
  8192   3   8   9   2   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   3   8 
  16    2   3   8 
  32    1   3   8 
  64    2   4   8 
  128    1   1   8 
  256    1   2   8 
  512    3   8   9 
  1024    1   3   9 
  2048    2   3   9 
  4096    2   7   9 
  8192    1   7   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.9524e-03   7.7660e-06   2.06   0.10   0.06   0.38 
  16   3.9231e-03   7.6622e-06   4.18   0.10   0.06   0.39 
  32   1.9853e-03   7.7550e-06   8.25   0.09   0.07   0.36 
  64   1.1040e-03   8.6248e-06   14.84   0.11   0.07   0.37 
  128   5.5812e-04   8.7206e-06   29.36   0.19   0.17   0.49 
  256   3.3022e-04   1.0319e-05   49.62   0.20   0.19   0.46 
  512   2.7698e-04   1.7311e-05   59.15   0.03   0.04   0.06 
  1024   1.6270e-04   2.0337e-05   100.70   0.04   0.02   0.10 
  2048   1.1122e-04   2.7805e-05   147.31   0.03   0.04   0.05 
  4096   8.5260e-05   4.2630e-05   192.17   0.03   0.03   0.07 
  8192   7.2260e-05   7.2260e-05   226.74   0.03   0.02   0.07 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   4   2   6   1   3 
  16   6   4   2   1   3 
  32   6   4   2   1   3 
  64   1   7   2   4   6 
  128   1   7   2   4   6 
  256   1   7   6   2   4 
  512   7   3   5   9   6 
  1024   1   7   3   5   9 
  2048   5   3   9   2   1 
  4096   5   9   3   4   2 
  8192   5   3   9   4   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    3   3   8 
  16    1   4   8 
  32    3   4   8 
  64    2   2   8 
  128    1   2   7 
  256    1   1   7 
  512    3   5   9 
  1024    2   5   9 
  2048    3   7   9 
  4096    3   7   9 
  8192    3   7   9 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:40 EDT.
85826 accesses since 1/2/96.