COMMTEST SP3-200 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM SP3-200 SWAP Performance

(unordered swap of 8KB message using MPI and US between nodes)

Date/Person: May 25, 2000 / P. Worley
Platform: IBM SP3 at National Energy Research Scientific Computing Center (Gseaborg)
   256 2-way Winterhawk I SMP nodes (200 MHz POWER3 with 4MB L2 cache, equivalent to RS/6000 Model 260
Environment: AIX 4.3.2; POE 2.4.0.12
Communication Library: MPI over the switch using user space
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 2
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered simple swap
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 48.05 31.98 18.8%
1 iter. 60.42 31.74 23.4%
10 iter. 65.53 32.23 23.3%

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 47.11 32.69 18.8%
1 iter. 63.64 32.79 25.5%
10 iter. 66.82 31.98 25.0%
cache inv. w/overlap 46.00 37.09 20.8%
1 iter. w/overlap 56.83 33.13 23.0%
10 iter. w/overlap 68.23 33.50 27.9%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 48.74 35.64 21.2%
1 iter. 60.87 32.51 24.2%
10 iter. 67.24 34.16 23.4%
cache inv. w/overlap 49.36 34.32 19.0%
1 iter. w/overlap 64.04 33.04 25.8%
10 iter. w/overlap 69.63 34.40 29.2%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 44.89 41.75 15.3%
1 iter. 60.80 35.13 26.1%
10 iter. 65.02 36.30 28.8%
cache inv. w/overlap 46.63 38.27 20.4%
1 iter. w/overlap 58.71 38.07 27.3%
10 iter. w/overlap 67.67 37.37 25.2%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 47.08 66.85 19.2%
1 iter. 66.13 66.75 26.9%
10 iter. 72.42 67.73 29.9%
cache inv. w/overlap 60.37 34.64 15.3%
1 iter. w/overlap 71.17 33.90 15.2%
10 iter. w/overlap 87.07 35.87 19.1%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 46.56 70.36 20.0%
1 iter. 61.63 70.46 26.5%
10 iter. 71.04 71.02 30.8%
cache inv. w/overlap 60.14 41.05 15.1%
1 iter. w/overlap 83.84 38.10 19.5%
10 iter. w/overlap 86.02 37.69 19.8%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 50.35 31.68 19.5%
1 iter. 60.18 32.05 23.5%
10 iter. 66.47 33.64 27.3%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 46.04 81.31 22.8%
1 iter. 56.17 82.03 28.1%
10 iter. 66.92 84.09 34.3%
cache inv. w/overlap 45.30 86.10 23.8%
1 iter. w/overlap 59.33 84.19 30.5%
10 iter. w/overlap 67.77 83.41 34.5%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 43.37 85.94 22.8%
1 iter. 58.78 80.52 28.9%
10 iter. 67.39 86.45 35.6%
cache inv. w/overlap 47.52 85.67 24.8%
1 iter. w/overlap 45.06 85.55 37.5%
10 iter. w/overlap 65.20 83.76 33.3%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 44.54 88.84 24.2%
1 iter. 57.92 91.97 32.5%
10 iter. 47.30 87.67 27.2%
cache inv. w/overlap 47.46 100.64 29.2%
1 iter. w/overlap 40.02 92.64 45.3%
10 iter. w/overlap 65.22 90.70 36.1%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   3.3053e-02   3.2279e-05   0.50   0.76   1.08   1.76 
  16   1.6744e-02   3.2704e-05   0.98   0.74   1.06   1.73 
  32   8.5726e-03   3.3487e-05   1.91   0.72   0.99   1.73 
  64   4.2479e-03   3.3187e-05   3.86   0.75   1.04   1.71 
  128   2.5316e-03   3.9556e-05   6.47   0.64   0.86   1.69 
  256   1.3876e-03   4.3361e-05   11.81   0.59   0.85   1.40 
  512   8.3596e-04   5.2247e-05   19.60   0.53   0.66   1.43 
  1024   6.0489e-04   7.5612e-05   27.09   0.40   0.46   1.03 
  2048   4.4170e-04   1.1043e-04   37.09   0.27   0.28   0.92 
  4096   3.2543e-04   1.6271e-04   50.35   0.22   0.25   0.48 
  8192   3.4266e-04   3.4266e-04   47.81   0.05   0.06   0.10 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   0   1   2   3 
  16   0   6   2   1   3 
  32   6   0   2   1   3 
  64   6   2   0   1   3 
  128   0   2   1   6   3 
  256   0   6   1   2   3 
  512   0   2   1   6   3 
  1024   0   2   6   1   3 
  2048   1   6   0   2   3 
  4096   6   2   0   1   3 
  8192   6   4   5   1   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   3   5 
  16    2   4   5 
  32    2   4   5 
  64    1   2   5 
  128    1   3   5 
  256    1   4   5 
  512    1   1   5 
  1024    1   2   5 
  2048    1   4   5 
  4096    1   3   6 
  8192    1   5   10 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   3.2629e-02   3.1864e-05   0.50   0.75   1.08   1.82 
  16   1.6377e-02   3.1987e-05   1.00   0.75   1.06   1.78 
  32   8.1940e-03   3.2008e-05   2.00   0.77   1.08   1.78 
  64   4.1557e-03   3.2467e-05   3.94   0.81   1.14   2.03 
  128   2.3869e-03   3.7296e-05   6.86   0.66   0.93   1.57 
  256   1.3269e-03   4.1466e-05   12.35   0.57   0.79   1.37 
  512   7.6223e-04   4.7640e-05   21.49   0.55   0.76   1.39 
  1024   5.3213e-04   6.6516e-05   30.79   0.44   0.61   1.23 
  2048   3.4894e-04   8.7234e-05   46.95   0.39   0.51   1.03 
  4096   2.5745e-04   1.2872e-04   63.64   0.29   0.27   0.83 
  8192   2.4777e-04   2.4777e-04   66.13   0.13   0.14   0.26 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   6   1   3 
  16   0   2   6   1   3 
  32   0   6   1   2   3 
  64   0   2   1   6   3 
  128   0   1   2   6   3 
  256   0   6   1   2   3 
  512   2   0   6   1   3 
  1024   6   0   2   1   3 
  2048   1   0   3   6   2 
  4096   1   2   3   0   6 
  8192   4   5   2   8   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   4   5 
  16    2   4   5 
  32    1   4   5 
  64    1   3   5 
  128    1   4   5 
  256    2   4   5 
  512    1   4   5 
  1024    1   2   5 
  2048    1   1   5 
  4096    1   3   5 
  8192    1   1   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   3.3108e-02   3.2332e-05   0.49   0.75   1.08   1.76 
  16   1.6607e-02   3.2436e-05   0.99   0.75   1.05   1.79 
  32   8.3167e-03   3.2487e-05   1.97   0.75   1.10   1.73 
  64   4.1869e-03   3.2711e-05   3.91   0.75   1.05   1.77 
  128   2.3059e-03   3.6030e-05   7.11   0.72   1.01   1.67 
  256   1.2749e-03   3.9839e-05   12.85   0.63   0.85   1.53 
  512   7.0848e-04   4.4280e-05   23.13   0.63   0.79   1.63 
  1024   4.7979e-04   5.9973e-05   34.15   0.48   0.64   1.16 
  2048   3.3451e-04   8.3628e-05   48.98   0.33   0.38   1.02 
  4096   2.4649e-04   1.2324e-04   66.47   0.24   0.25   0.74 
  8192   2.2624e-04   2.2624e-04   72.42   0.12   0.08   0.53 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   6   2   3 
  16   0   2   6   1   3 
  32   0   6   1   2   3 
  64   6   0   2   1   3 
  128   0   6   2   1   3 
  256   2   0   1   6   3 
  512   2   6   1   0   3 
  1024   0   6   2   1   3 
  2048   2   6   1   0   3 
  4096   6   1   3   2   0 
  8192   4   5   8   2   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   4   5 
  16    1   4   5 
  32    2   4   5 
  64    2   4   5 
  128    1   3   5 
  256    3   4   5 
  512    1   4   5 
  1024    1   3   5 
  2048    3   5   5 
  4096    2   5   6 
  8192    1   2   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   3.3645e-02   3.2856e-05   0.49   0.60   0.20   1.93 
  16   1.7527e-02   3.4232e-05   0.93   0.54   0.17   1.71 
  32   8.6622e-03   3.3837e-05   1.89   0.57   0.18   1.75 
  64   4.2528e-03   3.3225e-05   3.85   0.62   0.22   1.86 
  128   2.6154e-03   4.0866e-05   6.26   0.51   0.19   1.71 
  256   1.4268e-03   4.4588e-05   11.48   0.46   0.14   1.43 
  512   8.7840e-04   5.4900e-05   18.65   0.33   0.07   1.02 
  1024   6.2787e-04   7.8484e-05   26.09   0.28   0.07   1.16 
  2048   4.3426e-04   1.0856e-04   37.73   0.26   0.07   0.91 
  4096   3.3649e-04   1.6824e-04   48.69   0.19   0.06   0.71 
  8192   2.7138e-04   2.7138e-04   60.37   0.25   0.29   0.39 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   6   2   4   1 
  16   0   6   2   1   4 
  32   0   6   2   1   4 
  64   0   6   2   1   4 
  128   2   0   6   1   4 
  256   0   2   6   1   4 
  512   0   2   6   1   4 
  1024   2   0   4   6   5 
  2048   2   0   6   3   4 
  4096   2   6   5   0   3 
  8192   4   5   2   8   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   7 
  16    1   4   7 
  32    2   3   7 
  64    1   2   6 
  128    2   5   7 
  256    1   2   7 
  512    2   5   7 
  1024    1   4   7 
  2048    1   3   7 
  4096    1   4   7 
  8192    2   2   3 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   3.2866e-02   3.2096e-05   0.50   0.58   0.19   1.86 
  16   1.6633e-02   3.2485e-05   0.99   0.57   0.19   1.79 
  32   8.3159e-03   3.2484e-05   1.97   0.57   0.21   1.80 
  64   4.2610e-03   3.3289e-05   3.85   0.56   0.18   1.74 
  128   2.4397e-03   3.8120e-05   6.72   0.50   0.15   1.54 
  256   1.3363e-03   4.1759e-05   12.26   0.45   0.13   1.53 
  512   7.8298e-04   4.8936e-05   20.93   0.42   0.10   1.57 
  1024   5.2234e-04   6.5293e-05   31.37   0.39   0.16   1.36 
  2048   3.7447e-04   9.3617e-05   43.75   0.26   0.08   0.99 
  4096   2.5585e-04   1.2793e-04   64.04   0.21   0.11   0.60 
  8192   1.9543e-04   1.9543e-04   83.84   0.52   0.52   1.17 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   6   2   1   4 
  16   0   6   2   1   4 
  32   0   6   2   1   4 
  64   0   6   1   2   4 
  128   0   6   2   4   1 
  256   0   6   2   1   4 
  512   6   4   2   0   1 
  1024   6   2   1   0   4 
  2048   4   0   6   1   2 
  4096   2   4   6   5   3 
  8192   5   4   6   7   0 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   3   7 
  16    1   3   7 
  32    1   3   7 
  64    2   2   7 
  128    1   3   7 
  256    2   5   7 
  512    1   3   7 
  1024    1   1   7 
  2048    2   4   7 
  4096    1   4   7 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   3.3064e-02   3.2289e-05   0.50   0.55   0.15   1.83 
  16   1.6423e-02   3.2077e-05   1.00   0.56   0.15   1.87 
  32   8.3584e-03   3.2650e-05   1.96   0.54   0.14   1.82 
  64   4.1386e-03   3.2333e-05   3.96   0.59   0.16   1.86 
  128   2.3782e-03   3.7159e-05   6.89   0.49   0.13   1.63 
  256   1.2403e-03   3.8760e-05   13.21   0.49   0.13   1.57 
  512   7.0884e-04   4.4303e-05   23.11   0.45   0.11   1.51 
  1024   4.9554e-04   6.1943e-05   33.06   0.34   0.07   1.16 
  2048   3.3048e-04   8.2620e-05   49.58   0.25   0.04   0.94 
  4096   2.3529e-04   1.1764e-04   69.63   0.17   0.07   0.53 
  8192   1.8817e-04   1.8817e-04   87.07   0.25   0.29   0.36 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   6   1   2   4 
  16   0   6   1   2   4 
  32   0   6   1   2   4 
  64   0   6   1   2   4 
  128   0   2   1   6   4 
  256   0   2   6   1   4 
  512   0   2   4   1   6 
  1024   6   1   2   0   4 
  2048   1   2   4   0   6 
  4096   2   1   4   5   6 
  8192   4   5   1   7   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   3   7 
  16    1   2   7 
  32    2   3   7 
  64    1   2   7 
  128    2   4   7 
  256    1   3   7 
  512    1   3   7 
  1024    1   4   7 
  2048    1   6   7 
  4096    1   5   7 
  8192    1   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:14:33 EDT.
86200 accesses since 1/2/96.