PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 128KB message using MPI between two nodes)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 238.44 8.88 30.6%
1 iter. 237.02 9.04 25.1%
10 iter. 245.19 8.82 24.0%
cache inv. w/overlap 244.58 9.98 22.6%
1 iter. w/overlap 248.62 9.56 21.0%
10 iter. w/overlap 254.95 6.66 38.2%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 245.64 7.98 32.0%
1 iter. 250.66 8.07 31.3%
10 iter. 251.33 8.10 31.4%
cache inv. w/overlap 247.49 8.09 32.8%
1 iter. w/overlap 252.01 7.98 33.6%
10 iter. w/overlap 250.79 8.16 33.6%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 248.52 8.52 29.1%
1 iter. 249.38 8.23 29.8%
10 iter. 250.82 8.55 27.8%
cache inv. w/overlap 248.05 8.76 25.2%
1 iter. w/overlap 250.28 8.42 26.3%
10 iter. w/overlap 251.57 8.62 28.5%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 244.72 14.52 24.8%
1 iter. 247.26 13.69 27.6%
10 iter. 248.08 14.63 24.8%
cache inv. w/overlap 249.00 7.68 35.0%
1 iter. w/overlap 251.00 8.45 33.1%
10 iter. w/overlap 251.35 8.24 33.8%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 245.27 15.19 21.7%
1 iter. 247.49 15.34 20.8%
10 iter. 249.67 15.43 21.5%
cache inv. w/overlap 244.45 9.36 20.4%
1 iter. w/overlap 252.30 8.44 28.1%
10 iter. w/overlap 252.19 8.77 27.7%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 251.29 8.14 30.6%
1 iter. 249.57 7.99 31.6%
10 iter. 250.99 8.34 29.6%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 238.18 8.69 27.6%
1 iter. 242.28 8.61 29.4%
10 iter. 246.52 8.59 24.5%
cache inv. w/overlap 244.31 7.82 32.5%
1 iter. w/overlap 249.09 8.35 29.4%
10 iter. w/overlap 254.80 7.46 33.9%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 246.79 10.92 17.6%
1 iter. 250.14 10.79 17.4%
10 iter. 249.20 10.92 17.5%
cache inv. w/overlap 249.38 11.68 19.3%
1 iter. w/overlap 249.85 11.24 16.4%
10 iter. w/overlap 251.86 11.09 19.2%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 246.70 9.81 24.4%
1 iter. 252.06 10.04 21.0%
10 iter. 251.47 10.02 20.4%
cache inv. w/overlap 249.09 9.19 22.7%
1 iter. w/overlap 252.01 8.94 25.0%
10 iter. w/overlap 251.10 9.20 25.1%

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.0122e-02   9.8848e-06   25.90   0.26   0.09   0.83 
  256   5.5734e-03   1.0886e-05   47.03   0.34   0.19   0.92 
  512   4.5036e-03   1.7592e-05   58.21   0.12   0.04   0.41 
  1024   2.7812e-03   2.1728e-05   94.26   0.08   0.02   0.34 
  2048   1.8886e-03   2.9509e-05   138.80   0.07   0.01   0.26 
  4096   1.4442e-03   4.5131e-05   181.52   0.06   0.01   0.18 
  8192   1.2426e-03   7.7662e-05   210.96   0.04   0.02   0.12 
  16384   1.1394e-03   1.4243e-04   230.07   0.03   0.03   0.07 
  32768   1.0900e-03   2.7250e-04   240.50   0.02   0.02   0.05 
  65536   1.0672e-03   5.3360e-04   245.64   0.02   0.02   0.05 
  131072   1.0552e-03   1.0552e-03   248.43   0.01   0.01   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   1   6   2   7   3 
  256   1   7   6   2   3 
  512   6   3   2   7   8 
  1024   6   3   2   7   9 
  2048   2   6   3   8   9 
  4096   6   9   3   2   8 
  8192   3   6   9   2   8 
  16384   2   8   9   6   3 
  32768   6   3   8   2   9 
  65536   6   3   8   2   9 
  131072   9   6   2   3   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   4   6 
  256    1   1   5 
  512    1   5   7 
  1024    3   7   7 
  2048    5   6   8 
  4096    5   5   9 
  8192    4   5   9 
  16384    2   6   9 
  32768    2   8   9 
  65536    3   9   9 
  131072    5   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.0120e-02   9.8824e-06   25.90   0.25   0.07   0.83 
  256   5.4932e-03   1.0729e-05   47.72   0.36   0.20   0.98 
  512   4.4982e-03   1.7571e-05   58.28   0.10   0.02   0.40 
  1024   2.7618e-03   2.1577e-05   94.92   0.08   0.02   0.33 
  2048   1.8576e-03   2.9025e-05   141.12   0.07   0.01   0.26 
  4096   1.4072e-03   4.3975e-05   186.29   0.06   0.02   0.18 
  8192   1.2204e-03   7.6275e-05   214.80   0.04   0.01   0.11 
  16384   1.1274e-03   1.4092e-04   232.52   0.03   0.01   0.06 
  32768   1.0828e-03   2.7070e-04   242.10   0.02   0.01   0.05 
  65536   1.0574e-03   5.2870e-04   247.91   0.02   0.02   0.05 
  131072   1.0460e-03   1.0460e-03   250.62   0.01   0.01   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   1   6   2   7   3 
  256   1   7   6   2   3 
  512   3   2   6   1   9 
  1024   3   6   2   9   1 
  2048   2   6   3   8   9 
  4096   6   3   8   2   9 
  8192   6   8   2   9   3 
  16384   6   2   9   8   3 
  32768   6   3   2   9   8 
  65536   6   3   8   2   4 
  131072   2   3   9   8   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   4   6 
  256    1   1   5 
  512    3   7   7 
  1024    3   7   7 
  2048    4   5   8 
  4096    3   5   9 
  8192    3   5   9 
  16384    4   7   9 
  32768    4   9   9 
  65536    4   9   9 
  131072    6   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.0079e-02   9.8431e-06   26.01   0.27   0.09   0.85 
  256   5.5626e-03   1.0864e-05   47.13   0.34   0.18   0.93 
  512   4.3244e-03   1.6892e-05   60.62   0.14   0.05   0.48 
  1024   2.7541e-03   2.1517e-05   95.18   0.08   0.01   0.35 
  2048   1.8695e-03   2.9212e-05   140.22   0.07   0.01   0.25 
  4096   1.3932e-03   4.3539e-05   188.15   0.06   0.01   0.20 
  8192   1.2235e-03   7.6466e-05   214.26   0.04   0.01   0.11 
  16384   1.1281e-03   1.4101e-04   232.38   0.02   0.01   0.06 
  32768   1.0797e-03   2.6993e-04   242.79   0.01   0.01   0.03 
  65536   1.0570e-03   5.2851e-04   248.00   0.01   0.00   0.02 
  131072   1.0411e-03   1.0411e-03   251.80   0.01   0.01   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   1   2   7   6   3 
  256   1   7   2   6   3 
  512   7   1   3   6   9 
  1024   7   1   6   2   9 
  2048   9   3   6   2   8 
  4096   8   6   2   9   3 
  8192   6   8   3   9   2 
  16384   6   2   3   8   9 
  32768   3   2   6   1   9 
  65536   6   2   8   3   9 
  131072   2   6   9   3   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   4   6 
  256    1   1   5 
  512    1   5   7 
  1024    3   7   7 
  2048    4   7   8 
  4096    1   5   9 
  8192    4   5   9 
  16384    5   7   9 
  32768    6   9   9 
  65536    6   9   9 
  131072    5   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   9.8678e-03   9.6365e-06   26.57   0.13   0.10   0.41 
  256   5.7246e-03   1.1181e-05   45.79   0.16   0.16   0.39 
  512   4.3546e-03   1.7010e-05   60.20   0.06   0.06   0.15 
  1024   2.5408e-03   1.9850e-05   103.17   0.07   0.06   0.12 
  2048   1.6708e-03   2.6106e-05   156.90   0.10   0.14   0.16 
  4096   1.3300e-03   4.1563e-05   197.10   0.07   0.09   0.14 
  8192   1.1888e-03   7.4300e-05   220.51   0.04   0.05   0.09 
  16384   1.1118e-03   1.3898e-04   235.78   0.03   0.03   0.06 
  32768   1.0730e-03   2.6825e-04   244.31   0.02   0.02   0.08 
  65536   1.0592e-03   5.2960e-04   247.49   0.01   0.01   0.02 
  131072   1.0482e-03   1.0482e-03   250.09   0.01   0.01   0.05 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   7   2   6   4   1 
  256   1   7   2   6   5 
  512   5   9   3   7   6 
  1024   5   3   1   9   7 
  2048   5   9   3   2   6 
  4096   3   9   5   4   2 
  8192   9   3   5   7   2 
  16384   3   9   5   7   2 
  32768   7   5   9   3   8 
  65536   3   2   8   4   9 
  131072   9   5   8   4   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   8 
  256    1   2   8 
  512    1   4   9 
  1024    1   4   9 
  2048    3   3   9 
  4096    3   3   9 
  8192    3   7   9 
  16384    2   8   9 
  32768    4   8   9 
  65536    5   9   9 
  131072    6   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.0123e-02   9.8855e-06   25.90   0.09   0.05   0.34 
  256   5.6992e-03   1.1131e-05   46.00   0.14   0.11   0.37 
  512   4.3474e-03   1.6982e-05   60.30   0.05   0.04   0.10 
  1024   2.5344e-03   1.9800e-05   103.43   0.06   0.06   0.11 
  2048   1.6514e-03   2.5803e-05   158.74   0.10   0.14   0.16 
  4096   1.3080e-03   4.0875e-05   200.42   0.07   0.09   0.11 
  8192   1.1692e-03   7.3075e-05   224.21   0.03   0.05   0.06 
  16384   1.1066e-03   1.3832e-04   236.89   0.02   0.02   0.05 
  32768   1.0524e-03   2.6310e-04   249.09   0.02   0.03   0.04 
  65536   1.0480e-03   5.2400e-04   250.14   0.01   0.01   0.02 
  131072   1.0332e-03   1.0332e-03   253.72   0.02   0.01   0.05 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   7   2   4   1   6 
  256   1   7   4   6   2 
  512   3   1   9   5   7 
  1024   3   5   9   1   7 
  2048   5   9   3   6   4 
  4096   9   5   3   2   6 
  8192   5   3   9   7   2 
  16384   9   7   3   5   6 
  32768   7   9   3   5   8 
  65536   3   1   5   8   2 
  131072   5   3   8   9   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   5   8 
  256    1   2   8 
  512    1   5   9 
  1024    1   4   9 
  2048    3   3   9 
  4096    3   3   9 
  8192    3   7   9 
  16384    4   9   9 
  32768    1   9   9 
  65536    5   9   9 
  131072    4   7   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   9.0094e-03   8.7983e-06   29.10   0.20   0.18   0.50 
  256   5.6016e-03   1.0941e-05   46.80   0.15   0.13   0.40 
  512   4.4209e-03   1.7269e-05   59.30   0.04   0.03   0.09 
  1024   2.6059e-03   2.0358e-05   100.60   0.05   0.04   0.10 
  2048   1.8146e-03   2.8354e-05   144.46   0.03   0.02   0.06 
  4096   1.3809e-03   4.3154e-05   189.83   0.03   0.04   0.05 
  8192   1.2012e-03   7.5072e-05   218.24   0.02   0.02   0.05 
  16384   1.0877e-03   1.3596e-04   241.01   0.03   0.04   0.05 
  32768   1.0314e-03   2.5785e-04   254.16   0.04   0.04   0.06 
  65536   1.0282e-03   5.1411e-04   254.95   0.02   0.02   0.03 
  131072   1.0337e-03   1.0337e-03   253.59   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   1   7   2   4   6 
  256   1   7   4   2   6 
  512   1   7   9   5   3 
  1024   1   7   9   5   3 
  2048   3   5   9   1   6 
  4096   5   9   3   6   2 
  8192   3   9   5   7   6 
  16384   7   9   3   5   4 
  32768   7   1   6   3   5 
  65536   1   7   5   2   9 
  131072   7   9   5   3   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   7 
  256    1   2   8 
  512    2   5   9 
  1024    2   5   9 
  2048    3   6   9 
  4096    2   8   9 
  8192    3   8   9 
  16384    1   9   9 
  32768    1   7   9 
  65536    2   9   9 
  131072    8   9   9 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:38 EDT.
86211 accesses since 1/2/96.