COMMTEST IBM p690 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM p690 SWAP Performance

(unordered swap of 8KB message using MPI within a node)

Date/Person: April 4, 2002 / P. Worley
Platform: IBM p690 at Oak Ridge National Laboratory (cheetah.ccs.ornl.gov):
     p690 32-way Turbo SMP node (1.3 GHz POWER4)
Environment: AIX 5.1L
Communication Library: MPI
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 344.78 14.43 60.7%
1 iter. 450.94 12.92 71.1%
10 iter. 584.39 13.37 95.3%
cache inv. w/overlap 324.14 14.26 39.9%
1 iter. w/overlap 454.61 12.02 66.7%
10 iter. w/overlap 579.10 12.47 88.2%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 375.55 10.34 47.4%
1 iter. 505.06 10.61 65.4%
10 iter. 664.68 10.30 83.5%
cache inv. w/overlap 415.28 10.71 54.3%
1 iter. w/overlap 610.43 11.02 55.7%
10 iter. w/overlap 806.83 8.93 88.0%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 369.90 12.78 46.4%
1 iter. 465.63 13.20 68.7%
10 iter. 584.22 13.21 94.2%
cache inv. w/overlap 415.28 13.39 49.2%
1 iter. w/overlap 455.79 13.95 77.6%
10 iter. w/overlap 589.18 11.15 80.2%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 364.41 15.83 35.2%
1 iter. 546.62 16.42 54.8%
10 iter. 761.34 16.97 78.8%
cache inv. w/overlap 517.39 11.65 36.8%
1 iter. w/overlap 711.11 12.04 52.3%
10 iter. w/overlap1378.66 8.87 74.6%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 369.12 23.11 52.1%
1 iter. 517.17 22.63 71.4%
10 iter. 599.82 22.88 83.8%
cache inv. w/overlap 482.64 14.67 43.2%
1 iter. w/overlap 654.31 14.03 56.0%
10 iter. w/overlap1161.77 11.35 80.5%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 394.35 8.91 42.9%
1 iter. 529.88 7.82 50.6%
10 iter. 830.49 8.30 84.1%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 342.09 25.94 54.2%
1 iter. 411.38 26.12 65.6%
10 iter. 513.67 26.20 82.1%
cache inv. w/overlap 342.09 26.07 54.4%
1 iter. w/overlap 412.21 24.77 62.3%
10 iter. w/overlap 515.35 25.40 79.9%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 337.40 24.08 49.6%
1 iter. 427.26 23.99 62.6%
10 iter. 552.12 24.00 80.9%
cache inv. w/overlap 389.11 24.34 57.8%
1 iter. w/overlap 505.26 24.22 74.7%
10 iter. w/overlap 642.41 23.86 93.6%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 342.09 27.20 56.8%
1 iter. 404.48 26.94 66.5%
10 iter. 466.64 26.91 76.6%
cache inv. w/overlap 379.61 26.02 60.3%
1 iter. w/overlap 409.33 26.14 65.3%
10 iter. w/overlap 516.61 25.43 80.2%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.7967e-03   8.5905e-06   1.86   1.09   0.89   2.15 
  16   4.2373e-03   8.2759e-06   3.87   1.16   1.00   2.25 
  32   1.9541e-03   7.6334e-06   8.38   1.32   1.06   2.49 
  64   1.0638e-03   8.3106e-06   15.40   1.09   0.98   2.24 
  128   5.4516e-04   8.5181e-06   30.05   1.07   0.95   2.05 
  256   2.6737e-04   8.3554e-06   61.28   1.10   0.95   2.15 
  512   1.4587e-04   9.1167e-06   112.32   1.09   1.04   2.24 
  1024   9.2667e-05   1.1583e-05   176.81   0.78   0.61   1.63 
  2048   5.7093e-05   1.4273e-05   286.97   0.68   0.73   1.39 
  4096   4.1547e-05   2.0773e-05   394.35   0.42   0.45   0.86 
  8192   4.2387e-05   4.2387e-05   386.54   0.06   0.07   0.11 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   3   1   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   3   1   4 
  128   6   2   1   3   4 
  256   6   3   2   1   4 
  512   6   2   3   1   4 
  1024   6   1   3   2   4 
  2048   6   2   1   3   4 
  4096   6   2   1   3   4 
  8192   3   9   7   4   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   1 
  64    1   1   2 
  128    1   1   1 
  256    1   1   1 
  512    1   1   2 
  1024    1   1   3 
  2048    1   1   3 
  4096    1   1   4 
  8192    1   3   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.9412e-03   7.7551e-06   2.06   1.31   1.15   2.47 
  16   3.9377e-03   7.6908e-06   4.16   1.33   1.20   2.50 
  32   1.9352e-03   7.5595e-06   8.47   1.36   1.19   2.52 
  64   9.5936e-04   7.4950e-06   17.08   1.38   1.23   2.59 
  128   5.0096e-04   7.8275e-06   32.71   1.24   0.97   2.42 
  256   2.5239e-04   7.8871e-06   64.92   1.28   1.14   2.27 
  512   1.5820e-04   9.8875e-06   103.57   0.87   0.90   1.65 
  1024   7.3600e-05   9.2000e-06   222.61   1.06   0.99   1.91 
  2048   4.4680e-05   1.1170e-05   366.70   0.83   0.68   1.67 
  4096   3.0920e-05   1.5460e-05   529.88   0.51   0.45   1.08 
  8192   3.2067e-05   3.2067e-05   510.94   0.15   0.14   0.29 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   1   3   4 
  128   6   2   1   3   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   1   3   4 
  2048   6   2   1   3   4 
  4096   6   2   1   3   4 
  8192   4   8   5   2   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   1 
  16    1   1   1 
  32    1   1   1 
  64    1   1   1 
  128    1   1   2 
  256    1   1   1 
  512    1   1   2 
  1024    1   1   1 
  2048    1   1   2 
  4096    1   2   4 
  8192    1   3   6 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.2775e-03   8.0835e-06   1.98   1.23   1.10   2.33 
  16   4.0288e-03   7.8687e-06   4.07   1.29   1.15   2.43 
  32   1.9875e-03   7.7638e-06   8.24   1.32   1.16   2.46 
  64   1.0507e-03   8.2082e-06   15.59   1.20   1.04   2.29 
  128   5.0957e-04   7.9621e-06   32.15   1.26   1.13   2.35 
  256   2.6472e-04   8.2724e-06   61.89   1.17   1.05   2.17 
  512   1.2979e-04   8.1119e-06   126.23   1.21   1.13   2.24 
  1024   6.5392e-05   8.1740e-06   250.55   1.24   1.08   2.27 
  2048   3.6637e-05   9.1593e-06   447.19   1.09   0.90   2.18 
  4096   1.9728e-05   9.8640e-06   830.49   1.05   1.02   2.02 
  8192   2.1691e-05   2.1691e-05   755.35   0.34   0.32   0.63 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   1   3   4 
  128   6   2   1   3   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   1   3   4 
  2048   6   2   1   3   4 
  4096   6   2   1   3   4 
  8192   4   5   6   8   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   1 
  16    1   1   1 
  32    1   1   1 
  64    1   1   1 
  128    1   1   1 
  256    1   1   1 
  512    1   1   1 
  1024    1   1   1 
  2048    1   1   1 
  4096    1   1   2 
  8192    1   1   3 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.1376e-03   8.9234e-06   1.79   0.85   0.53   1.93 
  16   4.6579e-03   9.0975e-06   3.52   0.80   0.48   1.88 
  32   2.1694e-03   8.4743e-06   7.55   0.92   0.62   2.12 
  64   1.1061e-03   8.6411e-06   14.81   0.84   0.45   2.05 
  128   6.1533e-04   9.6146e-06   26.63   0.69   0.35   1.84 
  256   2.8535e-04   8.9171e-06   57.42   0.77   0.43   1.98 
  512   1.6389e-04   1.0243e-05   99.97   0.70   0.31   1.74 
  1024   9.5800e-05   1.1975e-05   171.02   0.59   0.33   1.55 
  2048   5.8333e-05   1.4583e-05   280.87   0.49   0.23   1.35 
  4096   3.9453e-05   1.9727e-05   415.28   0.34   0.16   0.88 
  8192   3.0253e-05   3.0253e-05   541.56   0.34   0.38   0.61 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   3 
  16   6   2   1   4   5 
  32   6   2   4   1   3 
  64   6   2   4   1   5 
  128   6   2   4   1   5 
  256   6   2   4   3   1 
  512   6   4   2   3   5 
  1024   2   4   6   5   1 
  2048   6   2   4   3   5 
  4096   2   6   4   3   5 
  8192   4   5   6   9   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   3   3 
  256    1   2   3 
  512    1   1   4 
  1024    1   2   4 
  2048    3   3   5 
  4096    1   2   5 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.7917e-03   8.5857e-06   1.86   0.90   0.63   2.03 
  16   4.6925e-03   9.1651e-06   3.49   0.79   0.54   1.84 
  32   2.1139e-03   8.2574e-06   7.75   0.99   0.61   2.15 
  64   1.0271e-03   8.0244e-06   15.95   1.04   0.73   2.25 
  128   5.4903e-04   8.5785e-06   29.84   0.94   0.65   2.11 
  256   2.5893e-04   8.0917e-06   63.27   0.99   0.54   2.27 
  512   1.4748e-04   9.2175e-06   111.09   0.86   0.59   1.92 
  1024   7.5120e-05   9.3900e-06   218.10   0.80   0.61   1.98 
  2048   4.5813e-05   1.1453e-05   357.63   0.59   0.40   1.40 
  4096   3.0733e-05   1.5367e-05   533.10   0.37   0.17   0.99 
  8192   2.3893e-05   2.3893e-05   685.71   0.44   0.49   0.74 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   3 
  16   6   2   4   1   3 
  32   6   2   1   4   5 
  64   6   2   4   1   3 
  128   6   2   4   1   3 
  256   6   2   1   5   4 
  512   6   2   1   4   3 
  1024   6   2   4   1   3 
  2048   6   2   4   1   3 
  4096   6   2   4   3   5 
  8192   4   5   8   9   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   1 
  64    1   1   1 
  128    1   1   1 
  256    1   1   1 
  512    1   1   1 
  1024    1   1   3 
  2048    1   1   4 
  4096    1   3   6 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.9964e-03   7.8090e-06   2.05   0.93   0.45   2.26 
  16   3.9911e-03   7.7952e-06   4.11   0.94   0.46   2.26 
  32   2.0093e-03   7.8488e-06   8.15   0.92   0.45   2.24 
  64   9.9095e-04   7.7418e-06   16.53   0.95   0.48   2.29 
  128   5.0357e-04   7.8682e-06   32.54   0.92   0.43   2.26 
  256   2.4792e-04   7.7474e-06   66.09   0.96   0.48   2.33 
  512   1.2740e-04   7.9627e-06   128.60   0.91   0.43   2.27 
  1024   6.8079e-05   8.5098e-06   240.66   0.80   0.49   2.04 
  2048   3.7197e-05   9.2993e-06   440.46   0.75   0.44   1.92 
  4096   1.9205e-05   9.6027e-06   853.10   0.80   0.47   2.00 
  8192   1.3212e-05   1.3212e-05   1240.08   1.02   1.21   1.42 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   4   2   3   5 
  16   6   4   2   5   3 
  32   6   2   4   5   3 
  64   6   4   2   3   5 
  128   6   4   2   5   3 
  256   6   2   4   5   3 
  512   6   2   4   3   5 
  1024   6   4   2   5   1 
  2048   2   6   4   3   1 
  4096   6   2   4   3   1 
  8192   4   5   2   8   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   3 
  256    1   1   3 
  512    1   1   3 
  1024    1   1   3 
  2048    2   2   3 
  4096    1   1   3 
  8192    1   1   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:20:51 EDT.
81478 accesses since 1/2/96.