COMMTEST IBM p690 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM p690 SWAP Performance

(unordered swap of 8KB message using MPI within a node)

Date/Person: April 4, 2002 / P. Worley
Platform: IBM p690 at Oak Ridge National Laboratory (cheetah.ccs.ornl.gov):
     p690 32-way Turbo SMP node (1.3 GHz POWER4)
Environment: AIX 5.1L
Communication Library: MPI
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 2, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 299.42 11.49 42.0%
1 iter. 533.10 11.44 50.4%
10 iter. 605.26 11.29 73.8%
cache inv. w/overlap 295.81 11.27 35.4%
1 iter. w/overlap 662.07 11.07 48.4%
10 iter. w/overlap 657.89 11.49 61.6%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 347.61 9.18 38.9%
1 iter. 608.32 9.29 69.0%
10 iter. 700.81 9.11 75.1%
cache inv. w/overlap 390.84 9.32 44.5%
1 iter. w/overlap 669.65 9.30 65.7%
10 iter. w/overlap 727.36 9.30 82.6%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 349.69 11.50 24.5%
1 iter. 533.10 11.44 74.4%
10 iter. 587.97 11.74 84.2%
cache inv. w/overlap 332.83 11.60 47.1%
1 iter. w/overlap 534.96 11.07 72.3%
10 iter. w/overlap 613.94 11.30 84.7%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 330.23 16.52 33.3%
1 iter. 651.88 17.20 68.4%
10 iter. 721.00 16.75 73.7%
cache inv. w/overlap 518.70 9.71 30.7%
1 iter. w/overlap 976.01 9.71 57.8%
10 iter. w/overlap1161.00 9.59 68.0%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 333.46 18.73 38.1%
1 iter. 616.87 18.77 70.7%
10 iter. 705.96 18.60 80.2%
cache inv. w/overlap 451.10 11.81 32.5%
1 iter. w/overlap 830.27 11.48 58.2%
10 iter. w/overlap1081.02 11.35 74.9%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 382.92 7.99 37.4%
1 iter. 664.22 8.02 65.0%
10 iter. 755.02 8.02 73.9%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 328.38 19.18 38.4%
1 iter. 685.71 19.49 81.6%
10 iter. 623.22 19.31 73.5%
cache inv. w/overlap 298.32 19.06 34.7%
1 iter. w/overlap 635.37 19.63 76.1%
10 iter. w/overlap 671.37 19.70 80.7%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 382.21 19.93 46.5%
1 iter. 699.37 19.72 84.2%
10 iter. 657.82 19.68 79.0%
cache inv. w/overlap 419.39 19.43 49.7%
1 iter. w/overlap 525.13 19.25 61.7%
10 iter. w/overlap 710.62 19.47 84.5%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 319.92 22.98 44.9%
1 iter. 505.06 23.53 72.5%
10 iter. 551.90 23.45 79.0%
cache inv. w/overlap 282.29 24.18 41.7%
1 iter. w/overlap 682.67 23.89 99.6%
10 iter. w/overlap 629.09 23.66 90.8%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.2484e-03   8.0551e-06   1.99   0.91   1.07   1.91 
  16   4.1561e-03   8.1174e-06   3.94   0.90   1.08   1.94 
  32   2.0673e-03   8.0753e-06   7.93   0.90   1.05   1.90 
  64   1.0632e-03   8.3061e-06   15.41   0.88   0.99   1.88 
  128   5.6573e-04   8.8396e-06   28.96   0.77   0.96   1.71 
  256   3.0233e-04   9.4479e-06   54.19   0.73   0.96   1.55 
  512   1.8077e-04   1.1298e-05   90.63   0.55   0.67   1.17 
  1024   9.7973e-05   1.2247e-05   167.23   0.64   0.73   1.34 
  2048   6.7533e-05   1.6883e-05   242.61   0.48   0.46   1.01 
  4096   4.2787e-05   2.1393e-05   382.92   0.49   0.60   0.80 
  8192   4.1213e-05   4.1213e-05   397.54   0.14   0.14   0.21 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   3   1   4 
  16   6   2   3   1   4 
  32   6   2   1   3   4 
  64   6   2   3   1   4 
  128   6   2   1   3   4 
  256   6   2   1   3   4 
  512   2   6   3   1   4 
  1024   6   2   1   3   4 
  2048   2   6   3   1   4 
  4096   6   2   1   3   4 
  8192   6   8   7   9   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   4 
  512    1   1   4 
  1024    1   1   3 
  2048    1   2   4 
  4096    1   1   2 
  8192    1   1   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.2124e-03   8.0199e-06   2.00   0.91   1.09   1.94 
  16   4.1075e-03   8.0225e-06   3.99   0.90   1.04   1.95 
  32   1.9925e-03   7.7833e-06   8.22   0.96   1.19   2.03 
  64   1.0472e-03   8.1816e-06   15.64   0.85   1.01   1.87 
  128   5.1944e-04   8.1163e-06   31.54   0.89   1.10   1.90 
  256   2.7665e-04   8.6454e-06   59.22   0.77   0.92   1.80 
  512   1.4863e-04   9.2892e-06   110.24   0.73   0.91   1.66 
  1024   7.1893e-05   8.9867e-06   227.89   0.89   1.04   1.71 
  2048   4.4387e-05   1.1097e-05   369.12   0.59   0.62   1.47 
  4096   2.4667e-05   1.2333e-05   664.22   0.57   0.62   1.27 
  8192   2.3613e-05   2.3613e-05   693.85   0.30   0.31   0.49 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   1   3   4 
  32   6   2   3   1   4 
  64   6   2   1   3   4 
  128   6   2   3   1   4 
  256   6   2   3   1   4 
  512   6   2   1   3   4 
  1024   6   2   3   1   4 
  2048   6   2   3   1   4 
  4096   6   2   3   1   8 
  8192   8   6   1   4   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   2   3 
  1024    1   1   2 
  2048    1   1   3 
  4096    1   1   3 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.1777e-03   7.9860e-06   2.00   0.92   1.09   1.95 
  16   4.0706e-03   7.9503e-06   4.03   0.92   1.09   1.97 
  32   2.0262e-03   7.9148e-06   8.09   0.93   1.09   2.00 
  64   1.0202e-03   7.9706e-06   16.06   0.92   1.11   1.96 
  128   5.0580e-04   7.9032e-06   32.39   0.94   1.08   2.02 
  256   2.6962e-04   8.4255e-06   60.77   0.84   1.01   1.86 
  512   1.3700e-04   8.5625e-06   119.59   0.85   0.97   1.84 
  1024   7.2904e-05   9.1130e-06   224.73   0.78   0.94   1.69 
  2048   3.9295e-05   9.8237e-06   416.95   0.71   0.84   1.49 
  4096   2.1700e-05   1.0850e-05   755.02   0.70   0.88   1.57 
  8192   2.1757e-05   2.1757e-05   753.03   0.16   0.13   0.37 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   3   4 
  16   6   2   3   1   4 
  32   6   2   3   1   4 
  64   6   2   3   1   4 
  128   6   2   3   1   4 
  256   6   2   3   1   4 
  512   6   2   1   3   4 
  1024   6   2   3   1   4 
  2048   6   2   1   3   4 
  4096   6   2   3   1   4 
  8192   4   6   7   2   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   1   2 
  1024    1   1   2 
  2048    1   1   2 
  4096    1   1   2 
  8192    1   3   7 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.5914e-03   8.3900e-06   1.91   0.65   0.37   1.87 
  16   4.3179e-03   8.4334e-06   3.79   0.64   0.34   1.84 
  32   2.1644e-03   8.4547e-06   7.57   0.62   0.37   1.80 
  64   1.0917e-03   8.5291e-06   15.01   0.65   0.37   1.88 
  128   5.6880e-04   8.8875e-06   28.80   0.58   0.29   1.74 
  256   2.8349e-04   8.8592e-06   57.79   0.67   0.40   1.80 
  512   1.8229e-04   1.1393e-05   89.88   0.43   0.19   1.32 
  1024   9.8533e-05   1.2317e-05   166.28   0.49   0.34   1.28 
  2048   6.2320e-05   1.5580e-05   262.90   0.39   0.30   0.99 
  4096   4.1920e-05   2.0960e-05   390.84   0.34   0.17   0.95 
  8192   3.2347e-05   3.2347e-05   506.51   0.30   0.26   0.65 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   3 
  16   6   2   4   1   5 
  32   6   2   4   1   3 
  64   6   4   2   1   5 
  128   6   4   2   3   5 
  256   6   2   4   5   3 
  512   6   2   4   1   5 
  1024   6   2   4   5   3 
  2048   2   6   4   5   3 
  4096   2   6   4   5   3 
  8192   4   5   8   6   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   3 
  256    1   1   3 
  512    2   3   5 
  1024    1   2   4 
  2048    1   3   4 
  4096    1   1   5 
  8192    1   1   4 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.4262e-03   8.2287e-06   1.94   0.67   0.37   1.92 
  16   4.1914e-03   8.1864e-06   3.91   0.68   0.39   1.95 
  32   2.0527e-03   8.0182e-06   7.98   0.71   0.43   1.95 
  64   1.0935e-03   8.5432e-06   14.98   0.61   0.31   1.78 
  128   5.3936e-04   8.4275e-06   30.38   0.64   0.35   1.85 
  256   2.8303e-04   8.8446e-06   57.89   0.60   0.36   1.83 
  512   1.4947e-04   9.3417e-06   109.62   0.53   0.27   1.59 
  1024   7.2187e-05   9.0233e-06   226.97   0.63   0.37   1.79 
  2048   4.5347e-05   1.1337e-05   361.31   0.40   0.16   1.19 
  4096   2.5213e-05   1.2607e-05   649.81   0.41   0.22   1.18 
  8192   1.7640e-05   1.7640e-05   928.80   0.48   0.44   1.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   1   3 
  16   6   2   4   1   5 
  32   6   2   4   1   3 
  64   6   2   4   5   1 
  128   6   2   4   1   5 
  256   6   4   2   5   1 
  512   6   2   4   1   5 
  1024   6   2   4   3   5 
  2048   2   4   6   1   3 
  4096   6   2   4   3   5 
  8192   4   5   8   6   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   3 
  256    1   1   3 
  512    1   1   4 
  1024    1   1   3 
  2048    2   3   5 
  4096    1   3   5 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.4428e-03   8.2449e-06   1.94   0.67   0.38   1.86 
  16   4.2132e-03   8.2290e-06   3.89   0.67   0.38   1.86 
  32   2.0681e-03   8.0786e-06   7.92   0.70   0.40   1.92 
  64   1.0509e-03   8.2100e-06   15.59   0.68   0.40   1.87 
  128   5.4401e-04   8.5002e-06   30.12   0.64   0.34   1.81 
  256   2.7157e-04   8.4864e-06   60.33   0.65   0.35   1.85 
  512   1.3851e-04   8.6567e-06   118.29   0.64   0.33   1.73 
  1024   7.2375e-05   9.0468e-06   226.38   0.57   0.33   1.62 
  2048   3.9521e-05   9.8803e-06   414.56   0.52   0.30   1.49 
  4096   2.2525e-05   1.1263e-05   727.36   0.44   0.23   1.16 
  8192   1.3724e-05   1.3724e-05   1193.82   0.65   0.76   1.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   3   5 
  16   6   2   4   3   1 
  32   6   2   4   3   1 
  64   6   2   4   3   5 
  128   6   2   4   5   3 
  256   6   2   4   3   5 
  512   6   4   2   3   5 
  1024   6   2   4   3   5 
  2048   6   2   4   3   5 
  4096   2   6   4   3   5 
  8192   4   5   7   6   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   3 
  256    1   1   3 
  512    1   1   3 
  1024    1   1   3 
  2048    1   2   4 
  4096    1   3   5 
  8192    1   1   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:20:53 EDT.
2827 accesses since 1/2/96.