COMMTEST IBM p690 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM p690 SWAP Performance

(unordered swap of 8KB message using MPI within an 8 processor LPAR node)

Date/Person: April 4, 2002 / P. Worley
Platform: IBM p690 at Oak Ridge National Laboratory (cheetah.ccs.ornl.gov):
     p690 32-way Turbo SMP node (1.3 GHz POWER4)
Environment: AIX 5.1L
Communication Library: MPI
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 368.35 12.41 32.4%
1 iter. 472.98 13.30 76.8%
10 iter. 569.81 12.95 90.1%
cache inv. w/overlap 348.99 13.63 29.0%
1 iter. w/overlap 475.73 13.36 77.6%
10 iter. w/overlap 576.20 12.98 91.3%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 384.12 10.27 32.7%
1 iter. 489.37 10.74 64.2%
10 iter. 580.66 10.98 77.8%
cache inv. w/overlap 373.84 10.86 49.6%
1 iter. w/overlap 521.78 10.57 67.4%
10 iter. w/overlap 743.65 9.18 83.3%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 372.25 13.62 37.8%
1 iter. 456.97 14.11 71.9%
10 iter. 499.43 13.93 84.9%
cache inv. w/overlap 384.72 14.49 41.3%
1 iter. w/overlap 448.79 14.16 77.6%
10 iter. w/overlap 662.14 11.53 93.2%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 351.79 17.09 36.7%
1 iter. 531.72 16.88 54.8%
10 iter. 766.47 17.76 83.1%
cache inv. w/overlap 478.50 11.63 34.0%
1 iter. w/overlap 713.59 11.35 49.4%
10 iter. w/overlap1274.95 9.24 71.9%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 333.01 22.70 46.1%
1 iter. 506.72 22.99 71.1%
10 iter. 593.22 22.88 82.9%
cache inv. w/overlap 449.78 14.61 40.1%
1 iter. w/overlap 654.66 14.22 56.8%
10 iter. w/overlap 972.69 11.60 68.9%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 390.10 7.75 36.9%
1 iter. 711.11 7.82 33.9%
10 iter. 824.97 7.54 75.9%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 337.40 26.25 54.1%
1 iter. 449.78 26.17 71.8%
10 iter. 514.42 26.18 82.2%
cache inv. w/overlap 330.95 25.78 52.1%
1 iter. w/overlap 415.28 25.11 63.6%
10 iter. w/overlap 508.71 25.27 78.5%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 333.46 24.43 53.5%
1 iter. 473.34 24.20 69.9%
10 iter. 606.55 24.15 89.4%
cache inv. w/overlap 352.50 24.33 52.3%
1 iter. w/overlap 489.37 24.65 73.6%
10 iter. w/overlap 579.49 24.46 86.5%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 346.82 27.24 57.7%
1 iter. 405.54 27.17 67.3%
10 iter. 458.94 27.12 76.0%
cache inv. w/overlap 394.35 26.52 63.8%
1 iter. w/overlap 401.70 26.37 64.7%
10 iter. w/overlap 528.13 25.50 82.2%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.0445e-03   7.8560e-06   2.04   1.31   1.22   2.47 
  16   4.0743e-03   7.9576e-06   4.02   1.29   1.23   2.43 
  32   2.0575e-03   8.0372e-06   7.96   1.26   1.19   2.39 
  64   9.8901e-04   7.7267e-06   16.57   1.33   1.15   2.51 
  128   5.4269e-04   8.4796e-06   30.19   1.13   1.00   2.21 
  256   2.7683e-04   8.6508e-06   59.19   1.06   1.03   2.10 
  512   1.6247e-04   1.0154e-05   100.85   0.91   0.76   1.97 
  1024   8.9253e-05   1.1157e-05   183.57   0.96   0.99   1.84 
  2048   5.8240e-05   1.4560e-05   281.32   0.71   0.77   1.47 
  4096   4.2000e-05   2.1000e-05   390.10   0.40   0.48   0.73 
  8192   4.0880e-05   4.0880e-05   400.78   0.12   0.12   0.22 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   1   3   4 
  128   6   2   1   3   4 
  256   6   2   3   1   4 
  512   6   2   1   3   4 
  1024   6   2   3   1   4 
  2048   6   2   3   1   4 
  4096   6   2   3   1   4 
  8192   6   3   8   4   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   1 
  16    1   1   1 
  32    1   1   1 
  64    1   1   1 
  128    1   1   1 
  256    1   1   2 
  512    1   1   2 
  1024    1   1   1 
  2048    1   1   2 
  4096    1   1   4 
  8192    1   2   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.8951e-03   7.7101e-06   2.08   1.35   1.24   2.52 
  16   3.8925e-03   7.6025e-06   4.21   1.38   1.32   2.57 
  32   1.9158e-03   7.4837e-06   8.55   1.43   1.37   2.63 
  64   1.0002e-03   7.8141e-06   16.38   1.32   1.21   2.48 
  128   4.8985e-04   7.6540e-06   33.45   1.31   1.33   2.53 
  256   2.4649e-04   7.7029e-06   66.47   1.38   1.42   2.47 
  512   1.3127e-04   8.2042e-06   124.81   1.24   0.97   2.38 
  1024   8.0147e-05   1.0018e-05   204.43   0.91   0.79   1.71 
  2048   5.2733e-05   1.3183e-05   310.70   0.60   0.68   1.28 
  4096   3.0733e-05   1.5367e-05   533.10   0.50   0.52   1.08 
  8192   3.2333e-05   3.2333e-05   506.72   0.15   0.14   0.29 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   1   3   4 
  128   6   2   3   1   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   1   3   4 
  2048   6   2   1   3   4 
  4096   6   2   1   3   4 
  8192   4   6   5   8   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   1 
  16    1   1   1 
  32    1   1   1 
  64    1   1   1 
  128    1   1   2 
  256    1   1   1 
  512    1   1   1 
  1024    1   1   1 
  2048    1   1   4 
  4096    1   1   4 
  8192    1   2   6 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   7.7448e-03   7.5633e-06   2.12   1.40   1.32   2.58 
  16   3.8858e-03   7.5894e-06   4.22   1.39   1.28   2.57 
  32   1.9572e-03   7.6453e-06   8.37   1.38   1.34   2.54 
  64   9.7142e-04   7.5892e-06   16.87   1.40   1.35   2.58 
  128   4.8995e-04   7.6555e-06   33.44   1.38   1.39   2.55 
  256   2.3762e-04   7.4256e-06   68.95   1.44   1.46   2.58 
  512   1.2358e-04   7.7237e-06   132.58   1.32   1.35   2.47 
  1024   6.4217e-05   8.0272e-06   255.13   1.28   1.23   2.37 
  2048   3.6391e-05   9.0977e-06   450.23   1.14   1.05   2.23 
  4096   1.9860e-05   9.9300e-06   824.97   1.09   0.94   2.15 
  8192   2.0971e-05   2.0971e-05   781.28   0.40   0.39   0.72 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   1   3   4 
  128   6   2   1   3   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   1   3   4 
  2048   6   2   1   3   4 
  4096   6   2   1   3   4 
  8192   4   5   2   8   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   1 
  16    1   1   1 
  32    1   1   1 
  64    1   1   1 
  128    1   1   1 
  256    1   1   1 
  512    1   1   2 
  1024    1   1   1 
  2048    1   1   1 
  4096    1   1   1 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.1066e-03   8.8932e-06   1.80   0.86   0.59   1.97 
  16   4.5321e-03   8.8517e-06   3.62   0.84   0.57   1.97 
  32   2.2536e-03   8.8031e-06   7.27   0.86   0.61   2.00 
  64   1.0596e-03   8.2778e-06   15.46   1.02   0.71   2.26 
  128   5.2581e-04   8.2158e-06   31.16   0.94   0.52   2.32 
  256   2.9468e-04   9.2087e-06   55.60   0.81   0.42   1.94 
  512   1.8732e-04   1.1708e-05   87.47   0.54   0.23   1.48 
  1024   9.2280e-05   1.1535e-05   177.55   0.67   0.36   1.59 
  2048   6.2120e-05   1.5530e-05   263.75   0.44   0.19   1.29 
  4096   4.3453e-05   2.1727e-05   377.05   0.28   0.17   0.67 
  8192   3.4520e-05   3.4520e-05   474.62   0.19   0.23   0.33 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   3 
  16   6   2   4   1   3 
  32   6   4   2   1   5 
  64   6   2   4   5   3 
  128   6   2   4   5   3 
  256   6   4   2   1   5 
  512   6   2   4   1   3 
  1024   6   4   2   3   5 
  2048   2   4   6   3   5 
  4096   4   2   6   5   3 
  8192   4   5   2   6   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   3 
  32    1   1   3 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   3   5 
  1024    1   1   3 
  2048    1   2   5 
  4096    2   3   5 
  8192    1   2   5 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.4980e-03   8.2988e-06   1.93   0.98   0.71   2.19 
  16   4.4102e-03   8.6136e-06   3.72   0.91   0.65   2.08 
  32   2.0909e-03   8.1675e-06   7.84   1.01   0.72   2.28 
  64   1.0788e-03   8.4284e-06   15.19   0.94   0.58   2.17 
  128   5.1965e-04   8.1196e-06   31.53   1.02   0.60   2.33 
  256   2.8387e-04   8.8708e-06   57.72   0.89   0.63   1.99 
  512   1.5347e-04   9.5917e-06   106.76   0.73   0.54   1.71 
  1024   8.0800e-05   1.0100e-05   202.77   0.69   0.52   1.59 
  2048   4.6187e-05   1.1547e-05   354.73   0.62   0.40   1.40 
  4096   3.1107e-05   1.5553e-05   526.70   0.38   0.17   0.99 
  8192   2.4853e-05   2.4853e-05   659.23   0.42   0.48   0.67 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   3 
  16   6   2   4   1   3 
  32   6   2   4   1   3 
  64   6   2   4   1   5 
  128   6   2   4   1   5 
  256   6   4   2   1   5 
  512   6   2   4   1   3 
  1024   6   4   2   1   3 
  2048   6   1   2   4   5 
  4096   6   2   4   1   3 
  8192   4   5   8   2   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   1 
  16    1   1   2 
  32    1   1   1 
  64    1   1   2 
  128    1   1   1 
  256    1   1   1 
  512    1   2   3 
  1024    1   1   4 
  2048    1   1   3 
  4096    2   2   5 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.0811e-03   7.8917e-06   2.03   0.93   0.47   2.23 
  16   3.9634e-03   7.7410e-06   4.13   0.96   0.50   2.30 
  32   2.0139e-03   7.8668e-06   8.14   0.94   0.48   2.24 
  64   1.0011e-03   7.8214e-06   16.37   0.94   0.47   2.26 
  128   5.0137e-04   7.8339e-06   32.68   0.95   0.46   2.29 
  256   2.5371e-04   7.9286e-06   64.58   0.93   0.47   2.26 
  512   1.2764e-04   7.9777e-06   128.36   0.91   0.48   2.22 
  1024   6.3848e-05   7.9810e-06   256.61   0.94   0.49   2.29 
  2048   3.5320e-05   8.8300e-06   463.87   0.82   0.52   2.00 
  4096   2.0495e-05   1.0247e-05   799.43   0.69   0.27   1.80 
  8192   1.2908e-05   1.2908e-05   1269.29   0.99   1.21   1.50 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   5   3 
  16   6   2   4   5   3 
  32   6   2   4   5   3 
  64   6   2   4   3   5 
  128   6   2   4   3   5 
  256   6   2   4   3   5 
  512   6   2   4   3   5 
  1024   6   2   4   3   5 
  2048   6   2   4   3   1 
  4096   6   2   4   3   5 
  8192   4   5   8   2   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   3 
  256    1   1   3 
  512    1   1   3 
  1024    1   1   3 
  2048    1   1   3 
  4096    1   1   4 
  8192    1   1   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:20:56 EDT.
80685 accesses since 1/2/96.