COMMTEST IBM p690 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM p690 SWAP Performance

(ordered swap of 8KB message using MPI within a node)

Date/Person: April 4, 2002 / P. Worley
Platform: IBM p690 at Oak Ridge National Laboratory (cheetah.ccs.ornl.gov):
     p690 32-way Turbo SMP node (1.3 GHz POWER4)
Environment: AIX 5.1L
Communication Library: MPI
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 2, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 276.88 6.51 28.1%
1 iter. 432.98 6.43 60.4%
10 iter. 439.56 6.34 68.0%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 247.14 7.44 29.7%
1 iter. 478.50 7.60 63.5%
10 iter. 407.33 7.58 60.8%
cache inv. w/overlap 212.48 8.06 41.8%
1 iter. w/overlap 398.83 8.15 77.4%
10 iter. w/overlap 422.37 7.99 64.7%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 219.51 7.42 35.5%
1 iter. 371.58 7.19 62.0%
10 iter. 403.06 7.24 71.2%
cache inv. w/overlap 255.95 7.41 46.3%
1 iter. w/overlap 437.30 7.39 78.9%
10 iter. w/overlap 428.66 7.26 76.0%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 245.71 8.57 25.7%
1 iter. 458.17 8.29 55.9%
10 iter. 383.38 8.39 69.1%
cache inv. w/overlap 232.20 8.58 48.7%
1 iter. w/overlap 456.97 8.49 59.3%
10 iter. w/overlap 400.25 8.78 65.8%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 272.04 9.47 31.4%
1 iter. 492.11 9.77 58.7%
10 iter. 561.97 9.82 67.3%
cache inv. w/overlap 259.40 7.51 23.8%
1 iter. w/overlap 521.78 7.59 48.4%
10 iter. w/overlap 678.00 7.39 61.2%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 254.04 10.55 32.7%
1 iter. 394.35 10.96 70.6%
10 iter. 506.89 10.89 67.4%
cache inv. w/overlap 278.20 8.71 29.6%
1 iter. w/overlap 593.62 8.51 61.6%
10 iter. w/overlap 590.17 9.00 64.8%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 215.16 8.68 41.0%
1 iter. 457.14 8.92 49.8%
10 iter. 400.63 8.78 58.1%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 218.10 15.33 40.8%
1 iter. 431.92 15.00 79.1%
10 iter. 400.22 14.90 72.8%
cache inv. w/overlap 199.71 14.19 34.6%
1 iter. w/overlap 395.24 14.38 69.4%
10 iter. w/overlap 432.63 14.08 74.3%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 184.15 14.80 38.4%
1 iter. 404.48 15.17 74.9%
10 iter. 424.66 14.91 77.3%
cache inv. w/overlap 281.32 15.58 53.5%
1 iter. w/overlap 409.33 15.01 75.0%
10 iter. w/overlap 405.53 15.09 74.7%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 201.34 15.97 39.2%
1 iter. 348.99 15.93 67.8%
10 iter. 380.42 15.82 73.4%
cache inv. w/overlap 217.56 15.37 40.8%
1 iter. w/overlap 437.30 14.88 79.4%
10 iter. w/overlap 391.72 15.43 73.8%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 182.42 13.73 44.2%
1 iter. 413.18 14.30 72.1%
10 iter. 400.34 14.10 68.9%

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.3322e-02   1.3010e-05   1.23   0.67   0.47   1.44 
  16   6.6559e-03   1.3000e-05   2.46   0.68   0.49   1.44 
  32   3.4509e-03   1.3480e-05   4.75   0.64   0.47   1.37 
  64   1.6529e-03   1.2914e-05   9.91   0.72   0.53   1.43 
  128   9.5185e-04   1.4873e-05   17.21   0.55   0.34   1.25 
  256   5.2401e-04   1.6375e-05   31.27   0.45   0.27   1.02 
  512   2.6329e-04   1.6456e-05   62.23   0.55   0.44   1.07 
  1024   1.4539e-04   1.8173e-05   112.69   0.54   0.42   1.01 
  2048   8.6880e-05   2.1720e-05   188.58   0.53   0.47   1.10 
  4096   6.8480e-05   3.4240e-05   239.25   0.28   0.19   0.61 
  8192   5.8040e-05   5.8040e-05   282.29   0.16   0.12   0.34 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   3   6 
  16   0   2   1   3   6 
  32   0   2   1   3   6 
  64   0   2   1   3   6 
  128   0   1   2   6   4 
  256   0   2   1   6   3 
  512   0   1   2   6   3 
  1024   0   2   1   6   4 
  2048   0   1   2   4   3 
  4096   0   1   2   6   4 
  8192   0   4   10   8   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   4 
  256    1   1   5 
  512    1   1   3 
  1024    1   1   2 
  2048    1   1   3 
  4096    1   1   7 
  8192    1   2   7 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.3147e-02   1.2839e-05   1.25   0.69   0.52   1.47 
  16   6.5606e-03   1.2814e-05   2.50   0.68   0.52   1.46 
  32   3.1964e-03   1.2486e-05   5.13   0.73   0.56   1.55 
  64   1.5675e-03   1.2246e-05   10.45   0.76   0.57   1.61 
  128   9.4187e-04   1.4717e-05   17.40   0.52   0.32   1.17 
  256   4.7507e-04   1.4846e-05   34.49   0.54   0.42   1.30 
  512   2.3627e-04   1.4767e-05   69.35   0.55   0.40   1.26 
  1024   1.2443e-04   1.5553e-05   131.68   0.52   0.38   1.13 
  2048   7.1413e-05   1.7853e-05   229.42   0.36   0.25   0.80 
  4096   3.9547e-05   1.9773e-05   414.30   0.38   0.32   0.82 
  8192   3.0267e-05   3.0267e-05   541.32   0.29   0.32   0.54 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   3   6 
  16   0   2   1   3   6 
  32   0   2   1   3   6 
  64   0   2   1   3   6 
  128   0   2   1   6   3 
  256   0   2   1   6   3 
  512   0   2   3   1   6 
  1024   0   2   1   6   3 
  2048   0   1   2   3   5 
  4096   1   0   3   2   5 
  8192   4   5   1   3   10 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   4 
  256    1   1   4 
  512    1   1   4 
  1024    1   2   3 
  2048    1   1   6 
  4096    2   2   4 
  8192    1   1   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.3070e-02   1.2764e-05   1.25   0.69   0.53   1.48 
  16   6.5772e-03   1.2846e-05   2.49   0.68   0.52   1.47 
  32   3.5081e-03   1.3704e-05   4.67   0.60   0.43   1.32 
  64   1.6904e-03   1.3206e-05   9.69   0.66   0.50   1.43 
  128   9.3805e-04   1.4657e-05   17.47   0.54   0.38   1.18 
  256   4.6921e-04   1.4663e-05   34.92   0.56   0.38   1.25 
  512   2.2784e-04   1.4240e-05   71.91   0.61   0.44   1.34 
  1024   1.2738e-04   1.5923e-05   128.62   0.49   0.31   1.13 
  2048   6.7905e-05   1.6976e-05   241.28   0.47   0.38   1.02 
  4096   3.7273e-05   1.8637e-05   439.56   0.46   0.30   1.02 
  8192   3.0255e-05   3.0255e-05   541.54   0.26   0.30   0.39 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   1   3   6 
  16   0   2   1   3   6 
  32   0   2   1   6   3 
  64   0   2   1   3   6 
  128   0   2   1   6   3 
  256   0   2   1   6   3 
  512   0   2   1   3   6 
  1024   0   2   1   6   3 
  2048   0   2   1   3   6 
  4096   0   2   1   3   6 
  8192   4   5   0   10   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   4 
  256    1   1   3 
  512    1   1   3 
  1024    1   1   5 
  2048    1   1   5 
  4096    1   1   4 
  8192    1   1   3 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2999e-02   1.2695e-05   1.26   0.63   0.35   1.41 
  16   6.5115e-03   1.2718e-05   2.52   0.63   0.35   1.40 
  32   3.2583e-03   1.2728e-05   5.03   0.64   0.36   1.40 
  64   1.7125e-03   1.3379e-05   9.57   0.59   0.31   1.43 
  128   8.8003e-04   1.3750e-05   18.62   0.56   0.30   1.29 
  256   4.5857e-04   1.4330e-05   35.73   0.57   0.32   1.30 
  512   2.6053e-04   1.6283e-05   62.89   0.50   0.28   1.15 
  1024   1.6085e-04   2.0107e-05   101.86   0.38   0.23   0.92 
  2048   9.7400e-05   2.4350e-05   168.21   0.33   0.21   0.76 
  4096   6.4013e-05   3.2007e-05   255.95   0.34   0.26   0.89 
  8192   5.0453e-05   5.0453e-05   324.74   0.31   0.36   0.52 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   4   1   6 
  16   0   2   4   1   3 
  32   0   2   4   1   6 
  64   0   2   4   1   6 
  128   0   2   4   1   3 
  256   0   2   4   1   3 
  512   0   2   1   4   5 
  1024   0   2   4   5   1 
  2048   0   2   4   5   1 
  4096   2   0   3   6   1 
  8192   4   10   5   0   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   4 
  128    1   1   4 
  256    1   1   3 
  512    1   1   4 
  1024    2   2   7 
  2048    1   2   7 
  4096    2   2   5 
  8192    1   1   3 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.3088e-02   1.2781e-05   1.25   0.61   0.33   1.36 
  16   6.5478e-03   1.2789e-05   2.50   0.61   0.34   1.39 
  32   3.2743e-03   1.2790e-05   5.00   0.62   0.32   1.43 
  64   1.6225e-03   1.2676e-05   10.10   0.62   0.34   1.35 
  128   8.4996e-04   1.3281e-05   19.28   0.58   0.33   1.30 
  256   4.5600e-04   1.4250e-05   35.93   0.51   0.25   1.19 
  512   2.2667e-04   1.4167e-05   72.28   0.52   0.34   1.24 
  1024   1.1827e-04   1.4783e-05   138.53   0.49   0.24   1.19 
  2048   6.6680e-05   1.6670e-05   245.71   0.40   0.28   0.99 
  4096   3.3947e-05   1.6973e-05   482.64   0.60   0.65   1.33 
  8192   2.5800e-05   2.5800e-05   635.04   0.44   0.44   0.80 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   4   1   6 
  16   0   2   4   1   6 
  32   0   2   4   1   5 
  64   0   2   4   1   6 
  128   0   2   4   1   3 
  256   0   4   2   1   6 
  512   0   2   4   6   1 
  1024   2   0   1   3   4 
  2048   2   0   4   1   5 
  4096   0   2   1   3   4 
  8192   4   5   2   0   10 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   4 
  256    1   1   6 
  512    1   1   5 
  1024    1   1   6 
  2048    2   2   5 
  4096    1   1   3 
  8192    1   1   2 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2916e-02   1.2613e-05   1.27   0.64   0.41   1.44 
  16   6.4813e-03   1.2659e-05   2.53   0.64   0.42   1.43 
  32   3.2568e-03   1.2722e-05   5.03   0.63   0.41   1.41 
  64   1.6444e-03   1.2847e-05   9.96   0.62   0.40   1.39 
  128   8.7981e-04   1.3747e-05   18.62   0.55   0.33   1.27 
  256   4.5688e-04   1.4277e-05   35.86   0.50   0.26   1.21 
  512   2.2739e-04   1.4212e-05   72.05   0.54   0.30   1.25 
  1024   1.2060e-04   1.5075e-05   135.85   0.50   0.24   1.25 
  2048   6.5805e-05   1.6451e-05   248.98   0.43   0.20   1.10 
  4096   3.7547e-05   1.8773e-05   436.36   0.40   0.22   1.00 
  8192   2.3995e-05   2.3995e-05   682.82   0.53   0.61   0.78 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   2   4   1   6 
  16   0   2   4   1   6 
  32   0   2   4   1   6 
  64   0   4   2   1   6 
  128   0   2   4   1   6 
  256   0   2   4   1   6 
  512   0   4   2   1   6 
  1024   0   2   4   1   6 
  2048   0   4   2   1   3 
  4096   0   2   4   1   6 
  8192   4   5   2   7   0 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   5 
  256    1   1   5 
  512    1   1   4 
  1024    1   1   6 
  2048    1   2   6 
  4096    1   2   7 
  8192    1   1   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:21:48 EDT.
81246 accesses since 1/2/96.