COMMTEST IBM p690 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM p690 SWAP Performance

(unordered swap of 8KB message using MPI within a node)

Date/Person: April 4, 2002 / P. Worley
Platform: IBM p690 at Oak Ridge National Laboratory (cheetah.ccs.ornl.gov):
     p690 32-way Turbo SMP node (1.3 GHz POWER4)
Environment: AIX 5.1L
Communication Library: MPI
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 16, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 233.75 11.69 21.1%
1 iter. 430.84 11.76 41.9%
10 iter. 553.14 11.67 39.4%
cache inv. w/overlap 224.57 12.35 16.9%
1 iter. w/overlap 364.56 12.20 57.6%
10 iter. w/overlap 563.04 11.38 39.1%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 248.53 9.42 16.3%
1 iter. 455.10 9.49 29.5%
10 iter. 521.79 9.48 51.4%
cache inv. w/overlap 310.70 9.63 20.2%
1 iter. w/overlap 712.12 9.68 42.1%
10 iter. w/overlap 555.31 9.69 50.0%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 230.60 12.98 24.1%
1 iter. 390.45 11.85 28.2%
10 iter. 447.68 11.75 41.2%
cache inv. w/overlap 264.31 12.84 20.7%
1 iter. w/overlap 455.10 12.40 34.5%
10 iter. w/overlap 533.74 12.23 49.7%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 221.68 17.60 28.4%
1 iter. 469.07 18.34 52.5%
10 iter. 671.42 17.15 70.3%
cache inv. w/overlap 341.89 10.65 22.2%
1 iter. w/overlap 858.99 10.92 57.3%
10 iter. w/overlap1071.23 9.57 62.6%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 224.57 20.84 28.6%
1 iter. 430.84 19.27 50.7%
10 iter. 613.23 20.67 77.4%
cache inv. w/overlap 347.61 13.23 28.1%
1 iter. w/overlap 712.12 12.75 55.4%
10 iter. w/overlap1004.67 12.02 73.7%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 273.74 8.81 15.9%
1 iter. 742.91 8.71 42.8%
10 iter. 626.36 8.26 45.4%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 237.37 23.29 33.7%
1 iter. 328.02 22.71 57.1%
10 iter. 547.72 22.99 76.9%
cache inv. w/overlap 237.36 24.80 35.9%
1 iter. w/overlap 512.83 24.49 76.6%
10 iter. w/overlap 538.77 23.96 78.8%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 244.55 22.52 38.8%
1 iter. 410.27 21.65 73.7%
10 iter. 589.30 21.91 78.8%
cache inv. w/overlap 364.56 23.39 52.0%
1 iter. w/overlap 482.24 23.29 68.5%
10 iter. w/overlap 568.87 22.99 79.8%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 240.70 27.39 40.2%
1 iter. 430.84 25.35 66.7%
10 iter. 486.17 26.22 77.8%
cache inv. w/overlap 268.44 27.13 44.5%
1 iter. w/overlap 430.84 27.61 72.6%
10 iter. w/overlap 492.17 26.42 79.4%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.0012e-03   8.7902e-06   1.82   0.94   1.01   2.05 
  16   4.4900e-03   8.7696e-06   3.65   0.93   1.01   1.99 
  32   2.1501e-03   8.3987e-06   7.62   1.04   1.15   2.16 
  64   1.1530e-03   9.0078e-06   14.21   0.92   0.95   1.96 
  128   5.8348e-04   9.1169e-06   28.08   0.97   1.02   1.95 
  256   3.3796e-04   1.0561e-05   48.48   0.76   0.86   1.61 
  512   2.0249e-04   1.2656e-05   80.91   0.66   0.65   1.36 
  1024   1.1685e-04   1.4607e-05   140.21   0.64   0.77   1.24 
  2048   8.2016e-05   2.0504e-05   199.77   0.43   0.58   0.89 
  4096   7.4173e-05   3.7087e-05   220.89   0.18   0.15   0.35 
  8192   5.9000e-05   5.9000e-05   277.69   0.11   0.14   0.21 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   1   3   4 
  128   6   2   1   3   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   3   1   4 
  2048   6   2   1   3   8 
  4096   2   8   6   3   4 
  8192   6   2   4   7   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   3 
  512    1   1   3 
  1024    1   1   3 
  2048    1   1   4 
  4096    1   1   6 
  8192    1   2   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.6720e-03   8.4687e-06   1.89   0.97   1.09   2.06 
  16   4.2140e-03   8.2306e-06   3.89   1.04   1.08   2.21 
  32   2.2440e-03   8.7656e-06   7.30   0.92   0.93   1.97 
  64   1.1001e-03   8.5942e-06   14.89   0.94   0.99   2.03 
  128   5.6308e-04   8.7981e-06   29.10   0.90   1.02   1.95 
  256   2.9763e-04   9.3008e-06   55.05   0.85   0.92   1.89 
  512   1.4699e-04   9.1866e-06   111.47   0.91   0.93   1.96 
  1024   8.5747e-05   1.0718e-05   191.07   0.77   0.78   1.55 
  2048   5.6982e-05   1.4246e-05   287.53   0.43   0.39   1.04 
  4096   4.7922e-05   2.3961e-05   341.89   0.24   0.27   0.46 
  8192   3.6001e-05   3.6001e-05   455.10   0.14   0.17   0.27 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   1   3   4 
  128   6   2   3   1   4 
  256   6   2   1   3   4 
  512   6   2   1   3   4 
  1024   6   2   1   3   4 
  2048   6   2   1   3   8 
  4096   8   5   1   4   7 
  8192   8   6   2   9   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   1   1 
  1024    1   1   2 
  2048    2   2   3 
  4096    1   1   4 
  8192    3   3   8 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.5582e-03   8.3576e-06   1.91   1.00   1.06   2.12 
  16   4.3306e-03   8.4582e-06   3.78   0.98   1.05   2.07 
  32   2.1455e-03   8.3809e-06   7.64   0.98   1.06   2.14 
  64   1.1203e-03   8.7523e-06   14.62   0.91   1.03   1.97 
  128   5.3151e-04   8.3048e-06   30.83   1.04   1.13   2.27 
  256   2.8510e-04   8.9094e-06   57.47   0.92   0.96   2.00 
  512   1.4757e-04   9.2229e-06   111.03   0.88   1.00   1.91 
  1024   7.5305e-05   9.4131e-06   217.57   0.90   0.97   1.86 
  2048   4.0698e-05   1.0175e-05   402.57   0.86   0.95   1.76 
  4096   4.0996e-05   2.0498e-05   399.65   0.25   0.23   0.51 
  8192   2.3592e-05   2.3592e-05   694.49   0.22   0.20   0.44 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   1   3   4 
  64   6   2   1   3   4 
  128   6   2   3   1   4 
  256   6   2   1   3   4 
  512   6   2   3   1   4 
  1024   6   2   3   1   4 
  2048   6   2   1   3   4 
  4096   4   5   8   7   2 
  8192   4   5   2   6   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   1   2 
  1024    1   1   2 
  2048    1   1   2 
  4096    1   1   6 
  8192    1   1   6 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.2989e-03   9.0810e-06   1.76   0.75   0.42   2.00 
  16   5.0160e-03   9.7968e-06   3.27   0.64   0.33   1.80 
  32   2.3071e-03   9.0119e-06   7.10   0.76   0.43   2.03 
  64   1.2020e-03   9.3905e-06   13.63   0.73   0.39   1.95 
  128   6.2001e-04   9.6876e-06   26.43   0.71   0.36   1.90 
  256   3.5405e-04   1.1064e-05   46.28   0.58   0.30   1.57 
  512   2.0599e-04   1.2875e-05   79.54   0.48   0.23   1.28 
  1024   1.2803e-04   1.6004e-05   127.97   0.41   0.23   1.09 
  2048   7.5936e-05   1.8984e-05   215.76   0.42   0.32   1.00 
  4096   5.7101e-05   2.8551e-05   286.93   0.47   0.54   0.79 
  8192   4.1067e-05   4.1067e-05   398.96   0.29   0.27   0.63 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   3 
  16   6   2   4   1   3 
  32   6   4   2   1   5 
  64   6   2   4   1   3 
  128   6   2   4   1   5 
  256   6   2   4   1   3 
  512   6   4   2   3   5 
  1024   6   2   4   3   5 
  2048   2   6   4   5   3 
  4096   4   5   8   6   2 
  8192   4   5   2   3   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   4 
  32    1   1   3 
  64    1   1   3 
  128    1   1   3 
  256    1   2   3 
  512    1   2   6 
  1024    1   1   5 
  2048    1   2   3 
  4096    1   1   2 
  8192    1   1   4 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.3970e-03   9.1768e-06   1.74   0.72   0.35   1.97 
  16   4.7860e-03   9.3477e-06   3.42   0.68   0.32   1.87 
  32   2.3061e-03   9.0082e-06   7.10   0.73   0.37   1.96 
  64   1.1239e-03   8.7805e-06   14.58   0.78   0.37   2.10 
  128   5.8210e-04   9.0953e-06   28.15   0.76   0.43   2.06 
  256   3.0303e-04   9.4697e-06   54.07   0.70   0.33   1.97 
  512   1.7500e-04   1.0937e-05   93.62   0.51   0.21   1.59 
  1024   9.2653e-05   1.1582e-05   176.83   0.48   0.24   1.48 
  2048   5.3048e-05   1.3262e-05   308.85   0.35   0.26   1.11 
  4096   3.6955e-05   1.8477e-05   443.35   0.46   0.59   0.79 
  8192   2.0981e-05   2.0981e-05   780.90   0.60   0.76   0.91 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   3 
  16   6   2   4   1   3 
  32   6   2   4   3   1 
  64   6   2   4   3   1 
  128   6   4   2   5   3 
  256   6   2   4   1   3 
  512   6   4   2   5   1 
  1024   2   4   6   5   1 
  2048   2   4   6   1   3 
  4096   4   5   6   8   2 
  8192   4   5   8   2   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   3 
  256    1   1   3 
  512    1   1   6 
  1024    1   3   5 
  2048    1   3   4 
  4096    1   1   3 
  8192    1   1   1 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.6836e-03   8.4801e-06   1.89   0.80   0.44   2.12 
  16   4.4116e-03   8.6164e-06   3.71   0.79   0.42   2.08 
  32   2.1559e-03   8.4215e-06   7.60   0.81   0.45   2.12 
  64   1.0863e-03   8.4867e-06   15.08   0.82   0.45   2.15 
  128   5.4500e-04   8.5156e-06   30.06   0.83   0.45   2.12 
  256   3.0921e-04   9.6627e-06   52.99   0.62   0.27   1.79 
  512   1.4970e-04   9.3564e-06   109.44   0.71   0.35   1.88 
  1024   7.6509e-05   9.5636e-06   214.15   0.73   0.40   1.87 
  2048   4.1294e-05   1.0324e-05   396.76   0.64   0.36   1.58 
  4096   2.5809e-05   1.2904e-05   634.82   0.91   1.05   1.34 
  8192   1.6904e-05   1.6904e-05   969.25   0.56   0.64   0.88 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   5 
  16   6   2   4   1   3 
  32   6   2   4   1   3 
  64   6   4   2   1   5 
  128   6   2   4   1   5 
  256   6   2   4   1   5 
  512   6   2   4   1   3 
  1024   6   2   4   1   3 
  2048   6   4   2   3   5 
  4096   4   5   8   2   1 
  8192   4   5   8   2   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   3 
  256    1   2   4 
  512    1   1   3 
  1024    1   1   3 
  2048    1   1   3 
  4096    1   1   2 
  8192    1   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:22:18 EDT.
86078 accesses since 1/2/96.