COMMTEST SP3-200 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM SP3-200 SWAP Performance

(ordered swap of 128KB message using MPI and US between nodes)

Date/Person: May 25, 2000 / P. Worley
Platform: IBM SP3 at National Energy Research Scientific Computing Center (Gseaborg)
   256 2-way Winterhawk I SMP nodes (200 MHz POWER3 with 4MB L2 cache, equivalent to RS/6000 Model 260
Environment: AIX 4.3.2; POE 2.4.0.12
Communication Library: MPI over the switch using user space
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 2
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 99.01 28.84 50.0%
1 iter. 104.72 29.51 48.8%
10 iter. 104.63 30.72 47.9%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 96.77 35.27 47.8%
1 iter. 105.64 33.70 47.8%
10 iter. 105.41 32.73 48.0%
cache inv. w/overlap 94.31 37.31 47.2%
1 iter. w/overlap 103.77 36.07 47.3%
10 iter. w/overlap 104.78 32.29 48.3%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 96.14 34.06 47.7%
1 iter. 104.91 32.76 47.4%
10 iter. 107.07 34.20 48.2%
cache inv. w/overlap 95.49 35.47 47.7%
1 iter. w/overlap 103.39 34.98 46.5%
10 iter. w/overlap 107.14 31.57 49.5%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 94.24 34.94 47.0%
1 iter. 104.92 36.31 46.9%
10 iter. 106.24 35.51 48.2%
cache inv. w/overlap 94.32 39.48 45.7%
1 iter. w/overlap 105.01 37.70 48.2%
10 iter. w/overlap 104.39 37.86 47.3%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 97.76 38.95 37.3%
1 iter. 106.93 37.32 35.3%
10 iter. 109.29 38.21 36.3%
cache inv. w/overlap 100.19 34.62 38.7%
1 iter. w/overlap 112.08 34.26 38.7%
10 iter. w/overlap 111.06 33.15 38.1%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 99.95 43.09 36.5%
1 iter. 107.47 39.53 35.8%
10 iter. 107.65 39.35 36.4%
cache inv. w/overlap 98.62 37.46 37.9%
1 iter. w/overlap 108.40 35.50 36.8%
10 iter. w/overlap 110.60 38.45 34.6%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 97.57 36.87 46.7%
1 iter. 106.31 34.24 48.3%
10 iter. 106.25 33.37 48.5%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 93.69 85.60 24.1%
1 iter. 104.36 79.86 25.5%
10 iter. 105.74 80.71 25.5%
cache inv. w/overlap 95.44 87.51 25.6%
1 iter. w/overlap 101.76 84.45 26.4%
10 iter. w/overlap 106.10 84.86 25.0%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 95.14 80.58 27.1%
1 iter. 105.23 88.39 21.6%
10 iter. 105.47 85.64 23.7%
cache inv. w/overlap 96.18 86.40 26.1%
1 iter. w/overlap 104.44 80.34 27.9%
10 iter. w/overlap 105.32 85.08 24.5%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 95.71 83.08 28.7%
1 iter. 104.40 87.53 22.6%
10 iter. 104.91 82.41 25.6%
cache inv. w/overlap 96.03 87.93 27.1%
1 iter. w/overlap 101.24 86.15 24.2%
10 iter. w/overlap 105.80 89.35 23.9%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 100.69 77.56 29.4%
1 iter. 103.93 83.25 22.7%
10 iter. 107.15 78.92 25.8%

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   6.7390e-02   6.5810e-05   3.89   0.69   0.29   1.70 
  256   3.7859e-02   7.3943e-05   6.92   0.58   0.25   1.56 
  512   2.1590e-02   8.4338e-05   12.14   0.52   0.21   1.34 
  1024   1.5023e-02   1.1736e-04   17.45   0.40   0.20   0.95 
  2048   1.0391e-02   1.6237e-04   25.23   0.28   0.12   0.65 
  4096   7.3927e-03   2.3102e-04   35.46   0.20   0.12   0.53 
  8192   6.0499e-03   3.7812e-04   43.33   0.17   0.21   0.23 
  16384   4.4993e-03   5.6241e-04   58.26   0.13   0.15   0.18 
  32768   3.6815e-03   9.2037e-04   71.21   0.07   0.09   0.11 
  65536   3.1473e-03   1.5737e-03   83.29   0.02   0.02   0.04 
  131072   2.6035e-03   2.6035e-03   100.69   0.04   0.04   0.07 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   2   3   6 
  256   0   1   2   6   3 
  512   0   2   1   6   3 
  1024   0   2   6   3   1 
  2048   0   6   1   2   3 
  4096   0   6   1   2   3 
  8192   4   5   0   10   6 
  16384   5   4   0   2   10 
  32768   4   5   10   7   1 
  65536   5   0   10   6   9 
  131072   10   5   0   4   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   5 
  256    2   2   6 
  512    1   1   6 
  1024    1   1   7 
  2048    1   3   7 
  4096    1   4   7 
  8192    1   2   11 
  16384    1   2   11 
  32768    1   2   11 
  65536    3   11   11 
  131072    2   7   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   6.6250e-02   6.4697e-05   3.96   0.69   0.27   1.70 
  256   3.6028e-02   7.0366e-05   7.28   0.61   0.27   1.51 
  512   2.0867e-02   8.1513e-05   12.56   0.52   0.22   1.30 
  1024   1.4783e-02   1.1549e-04   17.73   0.37   0.18   0.94 
  2048   9.7741e-03   1.5272e-04   26.82   0.28   0.13   0.69 
  4096   6.8615e-03   2.1442e-04   38.21   0.21   0.09   0.52 
  8192   5.6260e-03   3.5162e-04   46.60   0.17   0.21   0.23 
  16384   4.0534e-03   5.0668e-04   64.67   0.14   0.16   0.19 
  32768   3.2823e-03   8.2059e-04   79.86   0.09   0.11   0.14 
  65536   2.8222e-03   1.4111e-03   92.89   0.05   0.06   0.08 
  131072   2.4393e-03   2.4393e-03   107.47   0.02   0.02   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   2   1   6   3 
  256   0   1   2   3   6 
  512   0   2   1   6   3 
  1024   0   1   2   6   3 
  2048   0   2   1   6   3 
  4096   0   2   1   3   6 
  8192   4   5   10   0   2 
  16384   4   5   0   10   1 
  32768   5   4   8   3   6 
  65536   4   5   9   0   3 
  131072   5   4   6   1   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   5 
  256    1   1   5 
  512    1   2   7 
  1024    1   5   7 
  2048    1   3   7 
  4096    1   3   7 
  8192    2   2   11 
  16384    1   2   11 
  32768    2   2   11 
  65536    1   3   11 
  131072    2   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   6.7754e-02   6.6166e-05   3.87   0.65   0.25   1.61 
  256   3.6302e-02   7.0902e-05   7.22   0.61   0.26   1.49 
  512   2.1235e-02   8.2949e-05   12.34   0.50   0.20   1.25 
  1024   1.4817e-02   1.1576e-04   17.69   0.37   0.17   0.89 
  2048   9.7298e-03   1.5203e-04   26.94   0.30   0.15   0.71 
  4096   6.8710e-03   2.1472e-04   38.15   0.21   0.09   0.48 
  8192   5.5760e-03   3.4850e-04   47.01   0.18   0.22   0.25 
  16384   4.0685e-03   5.0856e-04   64.43   0.13   0.15   0.17 
  32768   3.2499e-03   8.1247e-04   80.66   0.08   0.09   0.15 
  65536   2.8064e-03   1.4032e-03   93.41   0.05   0.06   0.10 
  131072   2.3987e-03   2.3987e-03   109.29   0.03   0.03   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   6   2   3 
  256   0   1   2   6   3 
  512   0   6   2   1   3 
  1024   0   2   6   1   3 
  2048   0   1   2   3   6 
  4096   0   1   3   2   6 
  8192   5   4   0   10   1 
  16384   5   4   10   2   8 
  32768   4   5   6   10   2 
  65536   4   5   10   0   6 
  131072   4   5   10   2   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   5 
  256    1   1   5 
  512    1   1   7 
  1024    1   4   7 
  2048    1   3   7 
  4096    1   4   7 
  8192    1   2   11 
  16384    2   2   11 
  32768    2   2   11 
  65536    2   4   11 
  131072    1   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   7.1101e-02   6.9434e-05   3.69   0.64   0.19   1.63 
  256   3.7519e-02   7.3280e-05   6.99   0.62   0.23   1.58 
  512   2.2551e-02   8.8091e-05   11.62   0.48   0.13   1.25 
  1024   1.6140e-02   1.2609e-04   16.24   0.33   0.10   0.88 
  2048   1.0522e-02   1.6441e-04   24.91   0.28   0.09   0.72 
  4096   7.3922e-03   2.3101e-04   35.46   0.21   0.09   0.51 
  8192   5.9063e-03   3.6914e-04   44.38   0.20   0.26   0.29 
  16384   4.4504e-03   5.5630e-04   58.90   0.14   0.17   0.21 
  32768   3.5915e-03   8.9787e-04   72.99   0.10   0.11   0.15 
  65536   3.0609e-03   1.5304e-03   85.64   0.06   0.06   0.13 
  131072   2.5807e-03   2.5807e-03   101.58   0.05   0.06   0.08 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   2   4   6   1 
  256   0   2   6   1   4 
  512   0   2   1   6   4 
  1024   6   0   2   4   1 
  2048   0   6   2   1   5 
  4096   0   2   6   4   1 
  8192   5   4   0   10   6 
  16384   4   5   10   0   2 
  32768   4   5   8   0   9 
  65536   4   5   6   0   10 
  131072   10   4   5   8   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   7 
  256    1   1   7 
  512    1   2   7 
  1024    2   3   7 
  2048    1   2   7 
  4096    1   1   7 
  8192    2   2   5 
  16384    1   2   11 
  32768    1   2   11 
  65536    1   5   11 
  131072    1   3   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   6.6956e-02   6.5387e-05   3.92   0.69   0.24   1.73 
  256   3.6602e-02   7.1489e-05   7.16   0.63   0.25   1.60 
  512   2.0631e-02   8.0589e-05   12.71   0.58   0.18   1.41 
  1024   1.5462e-02   1.2080e-04   16.95   0.33   0.08   0.90 
  2048   9.8453e-03   1.5383e-04   26.63   0.29   0.10   0.74 
  4096   6.9057e-03   2.1580e-04   37.96   0.22   0.08   0.57 
  8192   5.4300e-03   3.3938e-04   48.28   0.23   0.26   0.32 
  16384   3.9929e-03   4.9911e-04   65.65   0.17   0.19   0.21 
  32768   3.2203e-03   8.0508e-04   81.40   0.11   0.14   0.14 
  65536   2.7438e-03   1.3719e-03   95.54   0.08   0.10   0.12 
  131072   2.3388e-03   2.3388e-03   112.08   0.07   0.07   0.11 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   6   2   4   1 
  256   0   2   6   1   4 
  512   0   6   2   1   4 
  1024   6   0   2   1   4 
  2048   0   6   2   4   1 
  4096   0   2   1   6   4 
  8192   4   5   0   2   6 
  16384   4   5   10   0   8 
  32768   5   4   0   8   1 
  65536   4   5   10   7   8 
  131072   4   5   0   3   10 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   6 
  256    1   1   6 
  512    1   1   7 
  1024    2   5   7 
  2048    1   2   7 
  4096    1   3   7 
  8192    1   2   2 
  16384    1   1   11 
  32768    2   2   11 
  65536    1   2   11 
  131072    1   2   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   6.6033e-02   6.4486e-05   3.97   0.70   0.22   1.81 
  256   3.6605e-02   7.1494e-05   7.16   0.59   0.15   1.57 
  512   2.0488e-02   8.0033e-05   12.79   0.55   0.18   1.42 
  1024   1.4969e-02   1.1695e-04   17.51   0.35   0.09   0.94 
  2048   9.9766e-03   1.5588e-04   26.28   0.26   0.06   0.70 
  4096   6.8148e-03   2.1296e-04   38.47   0.22   0.08   0.53 
  8192   5.3577e-03   3.3486e-04   48.93   0.23   0.28   0.32 
  16384   3.9696e-03   4.9621e-04   66.04   0.16   0.19   0.23 
  32768   3.2223e-03   8.0557e-04   81.35   0.10   0.11   0.13 
  65536   2.8200e-03   1.4100e-03   92.96   0.05   0.06   0.09 
  131072   2.3604e-03   2.3604e-03   111.06   0.04   0.05   0.06 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   2   1   4   6 
  256   0   1   6   2   4 
  512   0   1   2   4   6 
  1024   0   6   2   4   1 
  2048   0   2   1   6   4 
  4096   0   2   1   6   4 
  8192   4   5   0   10   1 
  16384   4   5   0   10   8 
  32768   4   5   0   10   6 
  65536   4   5   6   0   10 
  131072   4   5   2   0   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   7 
  256    1   1   7 
  512    1   1   7 
  1024    1   5   7 
  2048    1   5   7 
  4096    1   3   7 
  8192    1   2   3 
  16384    1   2   11 
  32768    1   2   11 
  65536    2   3   11 
  131072    2   6   11 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:14:42 EDT.
86108 accesses since 1/2/96.