COMMTEST IBM p690 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM p690 SWAP Performance

(unordered swap of 128KB message using MPI within a node)

Date/Person: April 4, 2002 / P. Worley
Platform: IBM p690 at Oak Ridge National Laboratory (cheetah.ccs.ornl.gov):
     p690 32-way Turbo SMP node (1.3 GHz POWER4)
Environment: AIX 5.1L
Communication Library: MPI
Communication Library: MPI
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 980.10 14.74 23.3%
1 iter.2299.51 14.17 35.5%
10 iter.2582.70 13.66 37.7%
cache inv. w/overlap 972.92 13.17 26.3%
1 iter. w/overlap2214.80 13.20 35.5%
10 iter. w/overlap2511.28 13.03 38.2%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 976.35 10.24 30.1%
1 iter.2098.50 10.51 41.4%
10 iter.2494.36 11.23 40.7%
cache inv. w/overlap 995.94 10.37 28.3%
1 iter. w/overlap2232.66 10.53 40.7%
10 iter. w/overlap2604.39 8.88 49.1%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 975.63 14.10 41.9%
1 iter.2147.78 13.26 44.7%
10 iter.2210.47 13.78 40.6%
cache inv. w/overlap 972.20 14.22 38.2%
1 iter. w/overlap2239.78 13.95 40.0%
10 iter. w/overlap2511.34 11.09 46.4%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 965.75 16.65 9.2%
1 iter.2108.17 16.15 13.0%
10 iter.2635.11 17.20 21.6%
cache inv. w/overlap1026.35 11.15 8.8%
1 iter. w/overlap2450.25 11.93 20.9%
10 iter. w/overlap3003.07 8.80 20.2%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 981.22 22.82 12.7%
1 iter.2117.94 23.14 18.7%
10 iter.2483.99 22.82 32.7%
cache inv. w/overlap1018.80 13.62 9.6%
1 iter. w/overlap2388.92 14.13 19.9%
10 iter. w/overlap2876.74 10.93 24.0%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 953.11 8.39 32.6%
1 iter.2309.23 7.87 50.9%
10 iter.2624.10 8.17 51.3%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 975.63 26.12 13.2%
1 iter.2198.95 26.28 24.6%
10 iter.2544.17 26.11 36.1%
cache inv. w/overlap 979.66 25.75 13.3%
1 iter. w/overlap2157.68 26.41 21.8%
10 iter. w/overlap2584.06 25.51 39.4%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 944.64 23.71 15.0%
1 iter.2150.84 23.98 19.7%
10 iter.2454.69 23.98 39.1%
cache inv. w/overlap1013.60 24.34 9.4%
1 iter. w/overlap2186.72 24.31 21.9%
10 iter. w/overlap2622.87 23.93 31.9%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 978.73 26.52 19.7%
1 iter.2188.42 27.06 22.6%
10 iter.2119.15 27.12 21.9%
cache inv. w/overlap 992.07 26.08 17.9%
1 iter. w/overlap2213.06 26.22 28.0%
10 iter. w/overlap2556.17 25.52 39.4%

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   8.8233e-03   8.6165e-06   29.71   1.10   0.90   2.08 
  256   4.5289e-03   8.8454e-06   57.88   1.04   0.82   2.01 
  512   2.6774e-03   1.0459e-05   97.91   0.84   0.72   1.77 
  1024   1.5727e-03   1.2287e-05   166.69   0.69   0.57   1.50 
  2048   8.9367e-04   1.3964e-05   293.34   0.63   0.51   1.48 
  4096   5.6677e-04   1.7712e-05   462.52   0.47   0.39   1.32 
  8192   5.2173e-04   3.2608e-05   502.45   0.27   0.21   0.65 
  16384   3.9009e-04   4.8762e-05   672.00   0.15   0.10   0.64 
  32768   3.1539e-04   7.8847e-05   831.18   0.12   0.08   0.41 
  65536   2.7896e-04   1.3948e-04   939.72   0.02   0.01   0.05 
  131072   2.6252e-04   2.6252e-04   998.57   0.02   0.02   0.05 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   2   1   3   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   1   3   4 
  2048   2   6   1   3   4 
  4096   2   6   1   3   4 
  8192   4   5   6   2   8 
  16384   4   5   2   7   6 
  32768   4   2   5   6   8 
  65536   4   6   3   5   2 
  131072   2   7   4   6   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   1 
  512    1   1   2 
  1024    1   2   3 
  2048    1   1   3 
  4096    1   1   4 
  8192    1   1   6 
  16384    1   2   8 
  32768    1   2   7 
  65536    4   8   9 
  131072    1   8   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   8.1582e-03   7.9670e-06   32.13   1.26   1.04   2.35 
  256   4.1290e-03   8.0644e-06   63.49   1.22   1.02   2.27 
  512   2.2775e-03   8.8964e-06   115.10   1.02   0.94   2.00 
  1024   1.2684e-03   9.9095e-06   206.67   0.88   0.74   1.90 
  2048   6.8208e-04   1.0657e-05   384.33   0.85   0.72   1.78 
  4096   3.9056e-04   1.2205e-05   671.20   0.75   0.68   1.53 
  8192   3.7983e-04   2.3739e-05   690.17   0.33   0.32   0.63 
  16384   2.5096e-04   3.1370e-05   1044.56   0.21   0.13   0.56 
  32768   1.8465e-04   4.6163e-05   1419.65   0.11   0.07   0.37 
  65536   1.3791e-04   6.8953e-05   1900.88   0.07   0.03   0.33 
  131072   1.2511e-04   1.2511e-04   2095.36   0.09   0.05   0.37 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   2   1   3   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   1   3   4 
  2048   6   2   1   3   4 
  4096   6   2   1   3   4 
  8192   4   5   6   8   2 
  16384   4   5   6   8   2 
  32768   4   7   6   2   8 
  65536   7   1   4   6   8 
  131072   5   9   6   8   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   1 
  256    1   1   1 
  512    1   1   2 
  1024    1   2   2 
  2048    1   1   3 
  4096    1   1   3 
  8192    1   1   2 
  16384    1   1   7 
  32768    1   3   7 
  65536    3   7   8 
  131072    1   4   8 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   8.2493e-03   8.0559e-06   31.78   1.26   1.17   2.33 
  256   4.0663e-03   7.9420e-06   64.47   1.29   1.23   2.34 
  512   2.1239e-03   8.2966e-06   123.42   1.19   1.16   2.19 
  1024   1.1406e-03   8.9111e-06   229.82   1.05   0.97   2.03 
  2048   6.0898e-04   9.5153e-06   430.47   1.03   0.92   2.09 
  4096   3.3724e-04   1.0539e-05   777.32   0.95   0.89   1.91 
  8192   3.4200e-04   2.1375e-05   766.50   0.42   0.42   0.67 
  16384   2.0727e-04   2.5909e-05   1264.73   0.28   0.21   0.62 
  32768   1.3834e-04   3.4585e-05   1894.94   0.25   0.17   0.66 
  65536   1.0797e-04   5.3985e-05   2427.95   0.12   0.04   0.48 
  131072   9.9375e-05   9.9375e-05   2637.94   0.07   0.03   0.23 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   2   1   3   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   1   3   4 
  2048   6   2   1   3   4 
  4096   6   2   1   3   4 
  8192   4   5   6   2   8 
  16384   4   5   6   2   8 
  32768   4   5   6   8   2 
  65536   2   8   4   6   1 
  131072   6   5   4   8   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   1 
  256    1   1   1 
  512    1   1   1 
  1024    1   1   2 
  2048    1   1   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   5 
  32768    1   1   7 
  65536    1   5   7 
  131072    4   5   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   9.2706e-03   9.0533e-06   28.28   0.84   0.56   1.96 
  256   4.7812e-03   9.3383e-06   54.83   0.81   0.54   1.94 
  512   2.9213e-03   1.1411e-05   89.74   0.57   0.28   1.52 
  1024   1.5713e-03   1.2276e-05   166.83   0.55   0.30   1.41 
  2048   8.9113e-04   1.3924e-05   294.17   0.49   0.23   1.31 
  4096   5.5964e-04   1.7489e-05   468.42   0.40   0.17   1.22 
  8192   4.1180e-04   2.5738e-05   636.58   0.52   0.51   0.99 
  16384   3.1868e-04   3.9835e-05   822.59   0.36   0.39   0.74 
  32768   2.8216e-04   7.0540e-05   929.06   0.20   0.20   0.40 
  65536   2.5807e-04   1.2903e-04   1015.80   0.07   0.09   0.12 
  131072   2.5200e-04   2.5200e-04   1040.25   0.05   0.05   0.07 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   2   4   1   5 
  256   6   2   4   1   3 
  512   2   6   4   1   5 
  1024   6   2   4   1   5 
  2048   4   2   6   1   3 
  4096   6   2   4   1   5 
  8192   4   5   2   6   8 
  16384   4   5   2   6   8 
  32768   4   5   2   6   8 
  65536   4   9   5   1   3 
  131072   4   5   6   8   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   3 
  512    1   2   4 
  1024    1   3   4 
  2048    2   3   5 
  4096    1   2   6 
  8192    1   1   2 
  16384    1   1   2 
  32768    2   2   7 
  65536    1   3   9 
  131072    1   4   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   8.6991e-03   8.4952e-06   30.13   0.96   0.67   2.13 
  256   4.5887e-03   8.9623e-06   57.13   0.88   0.61   2.01 
  512   2.3628e-03   9.2298e-06   110.95   0.82   0.51   1.97 
  1024   1.2402e-03   9.6894e-06   211.37   0.75   0.46   1.89 
  2048   7.4649e-04   1.1664e-05   351.17   0.55   0.27   1.47 
  4096   4.0032e-04   1.2510e-05   654.84   0.53   0.25   1.43 
  8192   2.6547e-04   1.6592e-05   987.48   0.78   0.92   1.16 
  16384   1.7983e-04   2.2478e-05   1457.76   0.57   0.60   0.99 
  32768   1.4160e-04   3.5400e-05   1851.30   0.34   0.34   0.66 
  65536   1.1513e-04   5.7567e-05   2276.87   0.17   0.20   0.26 
  131072   1.1381e-04   1.1381e-04   2303.28   0.13   0.08   0.47 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   2   4   1   3 
  256   6   2   4   1   3 
  512   6   2   4   1   3 
  1024   6   4   2   1   3 
  2048   4   6   2   1   3 
  4096   6   4   2   1   3 
  8192   4   5   6   2   1 
  16384   4   5   6   7   8 
  32768   4   5   6   2   8 
  65536   5   4   9   6   8 
  131072   4   8   5   6   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   1 
  256    1   1   1 
  512    1   1   2 
  1024    1   1   3 
  2048    1   3   4 
  4096    1   3   5 
  8192    1   1   2 
  16384    1   1   2 
  32768    2   2   2 
  65536    1   2   8 
  131072    1   1   8 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   8.0714e-03   7.8822e-06   32.48   0.93   0.43   2.26 
  256   4.0455e-03   7.9015e-06   64.80   0.94   0.46   2.28 
  512   2.0781e-03   8.1175e-06   126.15   0.90   0.44   2.21 
  1024   1.0870e-03   8.4918e-06   241.17   0.85   0.47   2.13 
  2048   5.7576e-04   8.9962e-06   455.30   0.84   0.54   2.04 
  4096   3.3409e-04   1.0440e-05   784.65   0.72   0.40   1.82 
  8192   2.1617e-04   1.3510e-05   1212.70   1.06   1.24   1.46 
  16384   1.4029e-04   1.7537e-05   1868.54   0.68   0.78   1.01 
  32768   1.0976e-04   2.7440e-05   2388.31   0.40   0.46   0.67 
  65536   8.7292e-05   4.3646e-05   3003.07   0.21   0.25   0.29 
  131072   9.3779e-05   9.3779e-05   2795.35   0.08   0.09   0.15 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   4   2   3   5 
  256   6   2   4   3   5 
  512   6   2   4   5   3 
  1024   6   2   4   3   5 
  2048   6   4   2   1   3 
  4096   6   2   4   1   3 
  8192   4   5   6   2   8 
  16384   4   5   6   8   2 
  32768   4   5   6   2   8 
  65536   4   5   6   7   1 
  131072   4   5   8   7   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   3 
  256    1   1   3 
  512    1   1   3 
  1024    1   1   3 
  2048    1   1   3 
  4096    1   1   3 
  8192    1   1   1 
  16384    1   1   2 
  32768    1   2   2 
  65536    1   2   3 
  131072    2   2   9 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:20:36 EDT.
2797 accesses since 1/2/96.