COMMTEST IBM p690 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM p690 SWAP Performance

(ordered swap of 8KB message using MPI within an 8 processor LPAR node)

Date/Person: April 4, 2002 / P. Worley
Platform: IBM p690 at Oak Ridge National Laboratory (cheetah.ccs.ornl.gov):
     p690 32-way Turbo SMP node (1.3 GHz POWER4)
Environment: AIX 5.1L
Communication Library: MPI
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 214.04 9.61 50.2%
1 iter. 322.94 9.56 75.4%
10 iter. 346.33 9.45 79.9%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 185.37 10.93 49.5%
1 iter. 294.25 10.82 77.7%
10 iter. 323.21 10.80 80.3%
cache inv. w/overlap 189.63 11.10 44.4%
1 iter. w/overlap 309.05 10.98 68.6%
10 iter. w/overlap 317.31 10.91 83.3%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 186.75 10.75 44.9%
1 iter. 297.31 10.53 76.4%
10 iter. 322.84 10.57 81.6%
cache inv. w/overlap 199.22 10.80 50.2%
1 iter. w/overlap 299.42 10.85 79.3%
10 iter. w/overlap 334.46 10.67 87.1%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 184.75 11.79 43.4%
1 iter. 293.27 11.77 70.2%
10 iter. 320.49 11.75 78.6%
cache inv. w/overlap 193.00 12.20 57.5%
1 iter. w/overlap 293.27 12.11 86.7%
10 iter. w/overlap 316.11 11.97 92.3%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 235.04 13.56 38.9%
1 iter. 436.21 13.63 72.6%
10 iter. 480.79 13.44 78.9%
cache inv. w/overlap 275.52 11.26 37.9%
1 iter. w/overlap 481.13 11.25 66.1%
10 iter. w/overlap 568.99 11.10 77.1%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 226.09 14.42 39.8%
1 iter. 401.83 14.37 70.5%
10 iter. 439.89 14.54 78.1%
cache inv. w/overlap 259.02 12.10 38.3%
1 iter. w/overlap 465.63 12.07 68.6%
10 iter. w/overlap 543.12 11.92 79.0%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 194.74 11.08 50.7%
1 iter. 285.04 10.93 76.1%
10 iter. 311.70 10.95 83.3%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 183.40 22.03 49.3%
1 iter. 283.66 21.91 75.9%
10 iter. 307.82 21.89 82.3%
cache inv. w/overlap 186.98 22.40 51.1%
1 iter. w/overlap 283.20 22.15 76.6%
10 iter. w/overlap 314.14 21.74 83.4%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 189.22 22.18 51.2%
1 iter. 287.44 21.91 76.9%
10 iter. 323.21 21.98 86.7%
cache inv. w/overlap 210.92 22.15 57.0%
1 iter. w/overlap 291.32 21.95 78.0%
10 iter. w/overlap 327.17 21.81 87.1%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 168.03 22.04 45.2%
1 iter. 272.52 21.96 73.1%
10 iter. 313.64 21.97 84.1%
cache inv. w/overlap 186.55 21.28 48.5%
1 iter. w/overlap 293.34 21.17 75.8%
10 iter. w/overlap 308.17 22.94 86.3%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 197.18 21.15 50.9%
1 iter. 303.63 21.00 77.8%
10 iter. 325.08 21.00 83.4%

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.9702e-02   1.9241e-05   0.83   0.61   0.41   1.31 
  16   9.8619e-03   1.9262e-05   1.66   0.61   0.42   1.31 
  32   4.9517e-03   1.9343e-05   3.31   0.60   0.41   1.29 
  64   2.4757e-03   1.9341e-05   6.62   0.61   0.43   1.31 
  128   1.2650e-03   1.9766e-05   12.95   0.59   0.42   1.27 
  256   6.4995e-04   2.0311e-05   25.21   0.58   0.41   1.29 
  512   3.5680e-04   2.2300e-05   45.92   0.53   0.36   1.23 
  1024   1.9453e-04   2.4317e-05   84.22   0.52   0.31   1.13 
  2048   1.1107e-04   2.7767e-05   147.51   0.52   0.38   1.12 
  4096   7.6547e-05   3.8273e-05   214.04   0.38   0.26   0.79 
  8192   7.1880e-05   7.1880e-05   227.94   0.16   0.18   0.26 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   6   3 
  16   0   2   1   6   3 
  32   0   2   1   6   3 
  64   0   2   1   6   3 
  128   0   1   2   6   3 
  256   0   1   2   6   3 
  512   0   2   1   6   3 
  1024   0   6   2   1   3 
  2048   0   2   1   6   3 
  4096   0   6   1   2   3 
  8192   4   5   0   10   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   5 
  16    1   1   5 
  32    1   1   5 
  64    1   1   5 
  128    1   1   5 
  256    1   1   5 
  512    1   1   5 
  1024    1   1   4 
  2048    1   1   3 
  4096    1   1   5 
  8192    1   2   9 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.9521e-02   1.9063e-05   0.84   0.61   0.43   1.30 
  16   9.7344e-03   1.9013e-05   1.68   0.61   0.43   1.31 
  32   4.8860e-03   1.9086e-05   3.35   0.61   0.41   1.32 
  64   2.4427e-03   1.9083e-05   6.71   0.60   0.41   1.31 
  128   1.2418e-03   1.9403e-05   13.19   0.58   0.41   1.26 
  256   6.2900e-04   1.9656e-05   26.05   0.57   0.35   1.28 
  512   3.2361e-04   2.0226e-05   50.63   0.56   0.37   1.23 
  1024   1.6844e-04   2.1055e-05   97.27   0.52   0.32   1.16 
  2048   8.8587e-05   2.2147e-05   184.95   0.53   0.33   1.25 
  4096   5.0733e-05   2.5367e-05   322.94   0.44   0.31   0.93 
  8192   4.0600e-05   4.0600e-05   403.55   0.37   0.42   0.52 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   6   3 
  16   0   2   1   6   3 
  32   0   2   1   6   3 
  64   0   2   1   6   3 
  128   0   2   1   6   3 
  256   0   2   1   6   3 
  512   0   1   2   6   3 
  1024   0   1   2   6   3 
  2048   2   0   1   6   3 
  4096   0   2   1   6   3 
  8192   4   5   6   10   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   5 
  16    1   1   5 
  32    1   1   5 
  64    1   1   5 
  128    1   1   5 
  256    1   1   5 
  512    1   1   5 
  1024    1   1   5 
  2048    1   2   5 
  4096    1   1   5 
  8192    1   2   2 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.9422e-02   1.8967e-05   0.84   0.61   0.42   1.32 
  16   9.7414e-03   1.9026e-05   1.68   0.61   0.42   1.31 
  32   4.8746e-03   1.9041e-05   3.36   0.61   0.42   1.31 
  64   2.4550e-03   1.9179e-05   6.67   0.60   0.41   1.29 
  128   1.2339e-03   1.9280e-05   13.28   0.60   0.40   1.29 
  256   6.2510e-04   1.9535e-05   26.21   0.59   0.38   1.28 
  512   3.1625e-04   1.9766e-05   51.81   0.58   0.38   1.25 
  1024   1.6299e-04   2.0373e-05   100.52   0.56   0.38   1.24 
  2048   8.5651e-05   2.1413e-05   191.29   0.53   0.35   1.23 
  4096   4.7308e-05   2.3654e-05   346.33   0.46   0.28   1.03 
  8192   3.4875e-05   3.4875e-05   469.80   0.40   0.47   0.55 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   6   3 
  16   0   2   1   6   3 
  32   0   2   1   6   3 
  64   0   2   1   6   3 
  128   0   2   1   6   3 
  256   0   2   1   6   3 
  512   0   2   1   6   3 
  1024   0   1   2   6   3 
  2048   0   2   1   6   3 
  4096   0   2   1   6   3 
  8192   4   5   0   10   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   5 
  16    1   1   5 
  32    1   1   5 
  64    1   1   5 
  128    1   1   5 
  256    1   1   5 
  512    1   1   5 
  1024    1   2   5 
  2048    1   2   5 
  4096    1   1   5 
  8192    1   1   2 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.9765e-02   1.9302e-05   0.83   0.56   0.25   1.32 
  16   9.9411e-03   1.9416e-05   1.65   0.55   0.24   1.31 
  32   4.9421e-03   1.9305e-05   3.32   0.56   0.25   1.33 
  64   2.4925e-03   1.9473e-05   6.57   0.56   0.25   1.32 
  128   1.2660e-03   1.9781e-05   12.94   0.54   0.25   1.29 
  256   6.5207e-04   2.0377e-05   25.13   0.53   0.24   1.27 
  512   3.6820e-04   2.3013e-05   44.50   0.44   0.16   1.09 
  1024   2.0240e-04   2.5300e-05   80.95   0.40   0.17   0.98 
  2048   1.1172e-04   2.7930e-05   146.65   0.44   0.23   1.00 
  4096   7.8040e-05   3.9020e-05   209.94   0.29   0.15   0.68 
  8192   5.7293e-05   5.7293e-05   285.97   0.36   0.44   0.49 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   6   4 
  16   0   2   1   6   4 
  32   0   2   1   6   4 
  64   0   2   1   6   4 
  128   0   2   1   4   6 
  256   0   2   6   1   4 
  512   0   2   1   4   6 
  1024   2   0   1   6   4 
  2048   0   4   6   2   5 
  4096   0   2   4   3   6 
  8192   4   5   2   0   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   5 
  16    1   1   7 
  32    1   1   5 
  64    1   1   7 
  128    1   1   7 
  256    1   1   6 
  512    1   1   7 
  1024    2   2   7 
  2048    1   1   6 
  4096    1   1   7 
  8192    1   2   2 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.9722e-02   1.9260e-05   0.83   0.55   0.25   1.31 
  16   9.8483e-03   1.9235e-05   1.66   0.55   0.25   1.32 
  32   4.9313e-03   1.9263e-05   3.32   0.55   0.25   1.30 
  64   2.4677e-03   1.9279e-05   6.64   0.55   0.24   1.31 
  128   1.2475e-03   1.9493e-05   13.13   0.55   0.25   1.30 
  256   6.3403e-04   1.9813e-05   25.84   0.53   0.24   1.27 
  512   3.2540e-04   2.0338e-05   50.35   0.52   0.22   1.24 
  1024   1.6911e-04   2.1138e-05   96.89   0.50   0.21   1.19 
  2048   9.1147e-05   2.2787e-05   179.75   0.46   0.19   1.11 
  4096   5.1213e-05   2.5607e-05   319.92   0.36   0.12   0.89 
  8192   3.4813e-05   3.4813e-05   470.62   0.54   0.66   0.77 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   6   4 
  16   0   2   6   1   4 
  32   0   2   1   6   4 
  64   0   2   6   1   4 
  128   0   2   1   6   4 
  256   0   2   1   6   4 
  512   0   2   1   6   4 
  1024   0   2   1   6   4 
  2048   0   2   4   1   6 
  4096   0   4   5   2   3 
  8192   4   5   7   8   10 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   5 
  16    1   1   5 
  32    1   1   5 
  64    1   1   7 
  128    1   1   6 
  256    1   1   7 
  512    1   1   7 
  1024    1   1   7 
  2048    1   1   7 
  4096    1   2   7 
  8192    1   1   2 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.9664e-02   1.9203e-05   0.83   0.56   0.24   1.39 
  16   9.8372e-03   1.9213e-05   1.67   0.56   0.24   1.39 
  32   4.9248e-03   1.9238e-05   3.33   0.56   0.24   1.38 
  64   2.4657e-03   1.9263e-05   6.64   0.56   0.24   1.38 
  128   1.2451e-03   1.9455e-05   13.16   0.55   0.24   1.37 
  256   6.3003e-04   1.9688e-05   26.01   0.54   0.23   1.34 
  512   3.1960e-04   1.9975e-05   51.26   0.53   0.22   1.31 
  1024   1.6429e-04   2.0536e-05   99.73   0.52   0.20   1.30 
  2048   8.6393e-05   2.1598e-05   189.64   0.48   0.19   1.21 
  4096   4.7468e-05   2.3734e-05   345.16   0.38   0.09   0.96 
  8192   2.9307e-05   2.9307e-05   559.05   0.63   0.77   0.81 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   6   4 
  16   0   2   1   6   4 
  32   0   2   1   4   6 
  64   0   2   1   4   6 
  128   0   2   1   4   6 
  256   0   2   1   4   6 
  512   0   2   4   1   6 
  1024   0   2   4   1   6 
  2048   0   2   4   1   6 
  4096   0   4   2   5   3 
  8192   4   5   10   0   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   7 
  16    1   1   7 
  32    1   1   7 
  64    1   1   7 
  128    1   1   7 
  256    1   1   7 
  512    1   1   7 
  1024    1   1   7 
  2048    1   1   7 
  4096    1   3   7 
  8192    1   1   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:21:51 EDT.
80892 accesses since 1/2/96.