COMMTEST SP3-200 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM SP3-200 SWAP Performance

(unordered swap of 128KB message using MPI and US between nodes)

Date/Person: May 25, 2000 / P. Worley
Platform: IBM SP3 at National Energy Research Scientific Computing Center (Gseaborg)
   256 2-way Winterhawk I SMP nodes (200 MHz POWER3 with 4MB L2 cache, equivalent to RS/6000 Model 260
Environment: AIX 4.3.2; POE 2.4.0.12
Communication Library: MPI over the switch using user space
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 2
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered simple swap
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 104.15 33.62 29.6%
1 iter. 122.45 31.72 34.3%
10 iter. 127.32 33.73 35.3%

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 122.58 36.59 35.2%
1 iter. 136.23 36.15 36.5%
10 iter. 142.16 35.06 38.0%
cache inv. w/overlap 121.89 36.82 35.2%
1 iter. w/overlap 136.59 36.11 35.9%
10 iter. w/overlap 140.78 34.59 37.5%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 118.45 38.16 35.9%
1 iter. 139.90 34.49 43.5%
10 iter. 140.85 35.51 45.2%
cache inv. w/overlap 120.31 39.23 48.4%
1 iter. w/overlap 130.77 35.98 34.3%
10 iter. w/overlap 141.96 34.60 47.0%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 120.67 37.93 36.0%
1 iter. 138.58 41.06 37.8%
10 iter. 136.01 39.41 38.2%
cache inv. w/overlap 118.67 44.83 34.9%
1 iter. w/overlap 140.27 40.57 37.2%
10 iter. w/overlap 141.18 39.57 54.1%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 115.97 69.28 16.7%
1 iter. 141.09 69.32 20.5%
10 iter. 144.56 66.92 20.0%
cache inv. w/overlap 116.11 37.80 23.0%
1 iter. w/overlap 145.24 36.59 26.2%
10 iter. w/overlap 144.64 35.03 25.6%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 121.08 72.70 18.3%
1 iter. 141.35 70.41 20.8%
10 iter. 141.17 71.32 18.6%
cache inv. w/overlap 125.75 43.37 22.8%
1 iter. w/overlap 136.25 40.76 24.2%
10 iter. w/overlap 145.59 39.23 24.0%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 120.54 35.79 35.2%
1 iter. 139.63 33.66 47.5%
10 iter. 136.48 35.56 44.3%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 122.32 87.65 17.6%
1 iter. 136.91 87.59 16.4%
10 iter. 140.42 88.12 17.6%
cache inv. w/overlap 122.31 88.29 17.3%
1 iter. w/overlap 138.34 95.11 13.0%
10 iter. w/overlap 140.40 86.11 16.2%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 121.79 92.55 28.0%
1 iter. 140.68 88.44 21.1%
10 iter. 125.38 89.15 26.2%
cache inv. w/overlap 119.50 89.62 34.2%
1 iter. w/overlap 138.07 86.51 31.7%
10 iter. w/overlap 134.70 87.83 27.0%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 121.09 96.85 32.5%
1 iter. 137.16 91.67 23.0%
10 iter. 123.30 90.43 23.7%
cache inv. w/overlap 121.01 103.98 25.9%
1 iter. w/overlap 132.50 94.78 30.3%
10 iter. w/overlap 112.91 93.26 22.4%

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   3.8067e-02   3.7175e-05   6.89   0.71   0.94   1.73 
  256   2.0856e-02   4.0734e-05   12.57   0.64   0.84   1.61 
  512   1.2239e-02   4.7808e-05   21.42   0.55   0.71   1.45 
  1024   8.3974e-03   6.5605e-05   31.22   0.45   0.59   1.08 
  2048   5.6241e-03   8.7877e-05   46.61   0.36   0.41   1.19 
  4096   4.1985e-03   1.3120e-04   62.44   0.22   0.28   0.69 
  8192   3.9638e-03   2.4774e-04   66.13   0.10   0.07   0.39 
  16384   3.0235e-03   3.7794e-04   86.70   0.04   0.04   0.09 
  32768   2.6100e-03   6.5250e-04   100.44   0.06   0.07   0.12 
  65536   2.3954e-03   1.1977e-03   109.44   0.05   0.03   0.18 
  131072   2.1386e-03   2.1386e-03   122.58   0.03   0.02   0.18 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   6   1   2   3 
  256   0   2   1   6   3 
  512   6   0   1   2   3 
  1024   6   1   0   2   3 
  2048   6   2   0   1   3 
  4096   6   2   1   0   3 
  8192   4   5   1   8   7 
  16384   5   7   1   4   9 
  32768   4   5   1   2   7 
  65536   6   4   1   2   9 
  131072   1   7   8   9   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   3   5 
  256    1   4   5 
  512    2   4   5 
  1024    2   3   5 
  2048    1   4   5 
  4096    1   5   5 
  8192    1   2   9 
  16384    1   7   10 
  32768    1   4   10 
  65536    4   7   10 
  131072    3   8   10 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   3.7456e-02   3.6579e-05   7.00   0.69   0.95   1.67 
  256   2.0263e-02   3.9576e-05   12.94   0.65   0.85   1.61 
  512   1.1606e-02   4.5337e-05   22.59   0.59   0.77   1.53 
  1024   8.0662e-03   6.3017e-05   32.50   0.45   0.64   1.20 
  2048   5.3441e-03   8.3502e-05   49.05   0.32   0.39   0.86 
  4096   3.9173e-03   1.2242e-04   66.92   0.20   0.29   0.47 
  8192   3.5938e-03   2.2461e-04   72.94   0.11   0.12   0.28 
  16384   2.6739e-03   3.3424e-04   98.04   0.06   0.06   0.15 
  32768   2.2950e-03   5.7375e-04   114.22   0.05   0.05   0.14 
  65536   2.0667e-03   1.0334e-03   126.84   0.04   0.04   0.17 
  131072   1.8546e-03   1.8546e-03   141.35   0.03   0.02   0.15 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   6   2   1   3 
  256   1   2   6   0   3 
  512   0   1   2   6   3 
  1024   2   6   0   1   3 
  2048   6   2   1   0   3 
  4096   1   2   6   0   3 
  8192   4   5   7   8   1 
  16384   4   5   6   3   9 
  32768   4   8   2   5   3 
  65536   4   9   5   3   6 
  131072   5   4   8   2   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   4   5 
  256    1   4   5 
  512    3   4   5 
  1024    2   4   5 
  2048    2   4   5 
  4096    3   5   5 
  8192    1   2   9 
  16384    2   4   10 
  32768    1   5   10 
  65536    2   8   10 
  131072    3   9   10 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   3.7564e-02   3.6684e-05   6.98   0.69   0.92   1.66 
  256   2.0296e-02   3.9640e-05   12.92   0.65   0.86   1.64 
  512   1.1514e-02   4.4978e-05   22.77   0.61   0.76   1.53 
  1024   7.9915e-03   6.2434e-05   32.80   0.48   0.59   1.29 
  2048   5.3706e-03   8.3916e-05   48.81   0.33   0.39   0.92 
  4096   3.8462e-03   1.2019e-04   68.16   0.26   0.28   0.74 
  8192   3.5757e-03   2.2348e-04   73.31   0.16   0.16   0.29 
  16384   2.6042e-03   3.2552e-04   100.66   0.08   0.07   0.22 
  32768   2.2909e-03   5.7271e-04   114.43   0.10   0.13   0.25 
  65536   2.0536e-03   1.0268e-03   127.65   0.10   0.07   0.30 
  131072   1.8133e-03   1.8133e-03   144.56   0.07   0.06   0.17 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   6   2   1   3 
  256   0   6   2   1   3 
  512   0   1   6   2   3 
  1024   6   2   0   1   3 
  2048   6   2   1   0   3 
  4096   6   2   1   0   3 
  8192   4   5   1   7   0 
  16384   4   5   2   7   1 
  32768   4   5   7   8   1 
  65536   4   7   5   1   3 
  131072   4   1   5   2   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   4   5 
  256    2   4   5 
  512    2   4   5 
  1024    1   4   5 
  2048    3   4   5 
  4096    1   5   5 
  8192    1   2   8 
  16384    1   2   10 
  32768    1   5   10 
  65536    1   5   9 
  131072    1   5   10 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   4.0059e-02   3.9120e-05   6.54   0.53   0.19   1.75 
  256   2.1168e-02   4.1343e-05   12.38   0.53   0.20   1.69 
  512   1.2353e-02   4.8253e-05   21.22   0.45   0.10   1.45 
  1024   8.6521e-03   6.7595e-05   30.30   0.37   0.13   1.23 
  2048   5.7244e-03   8.9443e-05   45.79   0.28   0.09   1.04 
  4096   4.2279e-03   1.3212e-04   62.00   0.20   0.06   0.82 
  8192   3.4133e-03   2.1333e-04   76.80   0.24   0.24   0.59 
  16384   2.6998e-03   3.3747e-04   97.10   0.16   0.20   0.25 
  32768   2.5418e-03   6.3545e-04   103.13   0.14   0.11   0.37 
  65536   2.2917e-03   1.1459e-03   114.39   0.10   0.13   0.20 
  131072   2.0847e-03   2.0847e-03   125.75   0.06   0.05   0.22 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   6   2   4 
  256   0   6   2   1   4 
  512   0   2   1   4   6 
  1024   0   2   1   6   4 
  2048   6   0   2   4   1 
  4096   6   2   0   4   1 
  8192   4   5   6   7   9 
  16384   4   5   7   1   6 
  32768   5   4   7   1   3 
  65536   4   5   1   9   3 
  131072   5   6   7   1   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   4   7 
  256    1   3   7 
  512    1   2   7 
  1024    1   3   7 
  2048    1   4   7 
  4096    1   4   7 
  8192    1   2   6 
  16384    1   2   10 
  32768    2   2   8 
  65536    1   2   10 
  131072    1   6   10 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   3.7388e-02   3.6511e-05   7.01   0.56   0.22   1.74 
  256   2.0706e-02   4.0441e-05   12.66   0.50   0.20   1.60 
  512   1.1744e-02   4.5877e-05   22.32   0.47   0.11   1.54 
  1024   8.1554e-03   6.3714e-05   32.14   0.36   0.13   1.33 
  2048   5.4114e-03   8.4553e-05   48.44   0.29   0.09   1.04 
  4096   3.9426e-03   1.2320e-04   66.49   0.18   0.05   0.59 
  8192   3.0979e-03   1.9362e-04   84.62   0.32   0.29   0.74 
  16384   2.4030e-03   3.0037e-04   109.09   0.16   0.19   0.32 
  32768   2.2126e-03   5.5314e-04   118.48   0.07   0.07   0.20 
  65536   2.0069e-03   1.0035e-03   130.62   0.08   0.07   0.17 
  131072   1.8049e-03   1.8049e-03   145.24   0.07   0.06   0.18 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   2   6   1   4 
  256   0   6   2   1   4 
  512   0   6   1   2   4 
  1024   6   0   2   1   4 
  2048   6   4   1   0   2 
  4096   6   2   1   4   5 
  8192   4   5   1   2   7 
  16384   4   5   8   2   7 
  32768   5   4   9   7   1 
  65536   5   4   3   1   9 
  131072   4   3   7   8   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   7 
  256    1   3   7 
  512    2   2   7 
  1024    1   4   7 
  2048    1   5   7 
  4096    1   5   7 
  8192    1   2   2 
  16384    2   2   9 
  32768    2   2   10 
  65536    2   2   10 
  131072    1   3   10 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   3.7263e-02   3.6390e-05   7.03   0.52   0.15   1.69 
  256   1.9960e-02   3.8984e-05   13.13   0.50   0.14   1.63 
  512   1.1395e-02   4.4512e-05   23.01   0.48   0.12   1.64 
  1024   8.0119e-03   6.2593e-05   32.72   0.34   0.07   1.17 
  2048   5.3096e-03   8.2963e-05   49.37   0.27   0.07   0.95 
  4096   3.9271e-03   1.2272e-04   66.75   0.18   0.02   0.65 
  8192   3.0585e-03   1.9116e-04   85.71   0.36   0.43   0.77 
  16384   2.3450e-03   2.9312e-04   111.79   0.21   0.21   0.50 
  32768   2.1548e-03   5.3870e-04   121.66   0.23   0.21   0.51 
  65536   2.0105e-03   1.0053e-03   130.39   0.14   0.14   0.39 
  131072   1.8006e-03   1.8006e-03   145.59   0.07   0.04   0.29 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   2   1   4   6 
  256   0   2   1   6   4 
  512   0   1   2   6   4 
  1024   0   1   6   4   2 
  2048   2   4   0   1   6 
  4096   1   6   4   2   3 
  8192   4   5   7   1   0 
  16384   4   5   7   9   1 
  32768   4   5   1   7   2 
  65536   4   5   1   2   7 
  131072   5   4   2   3   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   4   7 
  256    1   4   7 
  512    1   3   7 
  1024    3   5   7 
  2048    1   5   7 
  4096    4   7   7 
  8192    1   2   2 
  16384    1   2   8 
  32768    1   2   6 
  65536    2   4   7 
  131072    2   7   9 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:14:29 EDT.
86524 accesses since 1/2/96.