COMMTEST SP3-375 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM SP3-375 Winterhawk II SWAP Performance

(unordered swap of 8KB message using MPI within a node)

Date/Person: May 25, 2000 / P. Worley
Platform: IBM SP3 at Oak Ridge National Laboratory (eagle.ccs.ornl.gov):
     160 4-way Winterhawk II SMP nodes (375MHz POWER3 with 8MB L2 cache)
Environment: AIX 4.3.3;   PSSP 3.1.1
Communication Library: shared memory MPI within a node, MPI over the switch between nodes, using User Space protocol in both cases
SWAP size: 256 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered simple swap
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 77.12 12.07 6.4%
1 iter. 214.20 12.55 32.8%
10 iter. 252.68 12.03 35.7%

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 81.53 12.34 9.3%
1 iter. 257.97 12.13 31.6%
10 iter. 266.50 12.50 39.8%
cache inv. w/overlap 78.34 13.02 6.2%
1 iter. w/overlap 242.92 13.14 39.0%
10 iter. w/overlap 271.00 12.79 41.3%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 86.18 12.15 12.8%
1 iter. 267.84 12.06 39.4%
10 iter. 292.68 12.07 43.1%
cache inv. w/overlap 96.32 12.56 13.1%
1 iter. w/overlap 279.00 12.53 42.7%
10 iter. w/overlap 294.92 12.26 44.1%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 81.49 13.98 11.8%
1 iter. 259.28 13.76 43.6%
10 iter. 272.44 13.75 45.7%
cache inv. w/overlap 91.08 14.22 15.8%
1 iter. w/overlap 263.26 14.12 42.7%
10 iter. w/overlap 282.64 14.07 48.5%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 79.76 21.81 10.6%
1 iter. 296.74 21.80 39.5%
10 iter. 301.98 22.24 41.0%
cache inv. w/overlap 107.70 12.83 8.4%
1 iter. w/overlap 357.33 12.56 27.4%
10 iter. w/overlap 382.35 12.49 29.1%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 76.81 23.56 11.0%
1 iter. 276.00 23.76 40.0%
10 iter. 290.69 23.81 42.2%
cache inv. w/overlap 97.97 14.24 8.5%
1 iter. w/overlap 339.98 14.12 29.3%
10 iter. w/overlap 365.21 13.97 31.1%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 90.97 12.03 12.5%
1 iter. 285.73 11.93 41.6%
10 iter. 294.08 11.79 42.3%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 78.42 28.37 13.6%
1 iter. 268.78 27.51 45.1%
10 iter. 267.15 27.30 44.5%
cache inv. w/overlap 77.70 28.92 13.7%
1 iter. w/overlap 264.62 28.47 46.0%
10 iter. w/overlap 272.20 27.70 46.0%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 82.85 32.13 16.2%
1 iter. 231.59 32.36 45.7%
10 iter. 266.59 32.35 52.6%
cache inv. w/overlap 89.02 32.47 17.6%
1 iter. w/overlap 253.31 33.17 51.3%
10 iter. w/overlap 255.91 31.68 49.5%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 81.49 32.65 16.2%
1 iter. 252.47 32.06 49.4%
10 iter. 253.18 33.12 51.2%
cache inv. w/overlap 87.56 34.86 18.6%
1 iter. w/overlap 235.85 35.66 51.3%
10 iter. w/overlap 246.02 36.94 55.5%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2471e-02   1.2179e-05   1.31   0.67   0.82   1.69 
  16   6.3095e-03   1.2323e-05   2.60   0.67   0.82   1.66 
  32   3.1967e-03   1.2487e-05   5.13   0.64   0.84   1.58 
  64   1.6895e-03   1.3199e-05   9.70   0.64   0.76   1.62 
  128   9.2521e-04   1.4456e-05   17.71   0.62   0.72   1.56 
  256   5.4777e-04   1.7118e-05   29.91   0.56   0.67   1.35 
  512   3.5181e-04   2.1988e-05   46.57   0.47   0.55   1.20 
  1024   2.5798e-04   3.2247e-05   63.51   0.38   0.45   0.86 
  2048   2.1309e-04   5.3271e-05   76.89   0.23   0.33   0.52 
  4096   1.8149e-04   9.0745e-05   90.28   0.21   0.27   0.35 
  8192   1.8011e-04   1.8011e-04   90.97   0.13   0.14   0.20 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   0   1   3 
  16   6   2   0   1   3 
  32   6   2   0   1   3 
  64   6   2   0   1   3 
  128   6   2   0   1   3 
  256   6   2   0   1   3 
  512   6   2   0   1   3 
  1024   6   2   3   1   0 
  2048   6   2   1   3   0 
  4096   6   2   3   1   0 
  8192   6   8   1   3   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   3   5 
  16    1   3   5 
  32    1   2   5 
  64    1   3   5 
  128    1   3   5 
  256    1   2   5 
  512    1   2   5 
  1024    1   2   5 
  2048    1   2   5 
  4096    1   2   5 
  8192    1   1   10 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2178e-02   1.1892e-05   1.35   0.70   0.86   1.74 
  16   6.0695e-03   1.1854e-05   2.70   0.72   0.89   1.79 
  32   3.0798e-03   1.2030e-05   5.32   0.64   0.86   1.71 
  64   1.5588e-03   1.2178e-05   10.51   0.68   0.81   1.75 
  128   8.0074e-04   1.2512e-05   20.46   0.66   0.78   1.70 
  256   4.1766e-04   1.3052e-05   39.23   0.64   0.75   1.64 
  512   2.2745e-04   1.4215e-05   72.03   0.60   0.72   1.58 
  1024   1.3170e-04   1.6463e-05   124.40   0.54   0.63   1.32 
  2048   8.1915e-05   2.0479e-05   200.01   0.47   0.54   1.22 
  4096   5.7340e-05   2.8670e-05   285.73   0.35   0.37   0.78 
  8192   5.5213e-05   5.5213e-05   296.74   0.18   0.18   0.42 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   1   0   3 
  16   6   2   1   0   3 
  32   6   2   1   0   3 
  64   6   2   0   1   3 
  128   6   2   0   1   3 
  256   6   2   0   1   3 
  512   6   2   0   1   3 
  1024   6   2   3   1   0 
  2048   6   2   3   1   0 
  4096   6   2   3   1   0 
  8192   4   5   7   1   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   3   5 
  16    1   2   5 
  32    1   2   5 
  64    1   2   5 
  128    1   3   5 
  256    1   2   5 
  512    1   2   5 
  1024    1   2   4 
  2048    1   2   5 
  4096    1   1   4 
  8192    1   1   7 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2121e-02   1.1837e-05   1.35   0.70   0.88   1.79 
  16   6.0844e-03   1.1884e-05   2.69   0.70   0.88   1.77 
  32   3.0569e-03   1.1941e-05   5.36   0.65   0.86   1.81 
  64   1.5516e-03   1.2122e-05   10.56   0.69   0.81   1.81 
  128   7.9307e-04   1.2392e-05   20.66   0.68   0.81   1.79 
  256   4.1362e-04   1.2926e-05   39.61   0.65   0.77   1.76 
  512   2.2139e-04   1.3837e-05   74.00   0.61   0.74   1.64 
  1024   1.2585e-04   1.5731e-05   130.19   0.55   0.64   1.39 
  2048   7.9543e-05   1.9886e-05   205.98   0.44   0.52   1.10 
  4096   5.5713e-05   2.7856e-05   294.08   0.33   0.36   0.84 
  8192   5.4255e-05   5.4255e-05   301.98   0.14   0.16   0.23 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   0   1   3 
  16   6   2   0   1   3 
  32   6   2   0   1   3 
  64   6   2   0   1   3 
  128   6   2   0   1   3 
  256   6   2   0   1   3 
  512   6   2   1   0   3 
  1024   6   2   1   0   3 
  2048   6   2   3   1   0 
  4096   6   2   3   1   0 
  8192   4   5   7   8   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   3   5 
  16    1   3   5 
  32    1   3   5 
  64    1   2   5 
  128    1   3   5 
  256    1   2   5 
  512    1   2   5 
  1024    1   2   5 
  2048    1   2   5 
  4096    2   2   5 
  8192    1   2   10 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2587e-02   1.2292e-05   1.30   0.55   0.17   1.87 
  16   6.3852e-03   1.2471e-05   2.57   0.55   0.17   1.87 
  32   3.2948e-03   1.2870e-05   4.97   0.50   0.16   1.82 
  64   1.7133e-03   1.3385e-05   9.56   0.51   0.16   1.82 
  128   9.2170e-04   1.4402e-05   17.78   0.53   0.19   1.69 
  256   5.5319e-04   1.7287e-05   29.62   0.46   0.15   1.46 
  512   3.4723e-04   2.1702e-05   47.18   0.38   0.15   1.16 
  1024   2.5500e-04   3.1875e-05   64.25   0.30   0.18   0.84 
  2048   1.9670e-04   4.9176e-05   83.29   0.29   0.25   0.67 
  4096   1.7266e-04   8.6330e-05   94.89   0.21   0.27   0.46 
  8192   1.5213e-04   1.5213e-04   107.70   0.23   0.23   0.41 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   0   2   4   1 
  16   6   4   2   0   1 
  32   0   6   2   4   1 
  64   6   2   0   4   1 
  128   6   2   4   0   1 
  256   6   2   4   0   1 
  512   2   6   4   0   5 
  1024   2   6   4   5   3 
  2048   2   4   5   6   3 
  4096   2   3   4   6   5 
  8192   4   5   2   3   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   3   7 
  16    1   4   7 
  32    2   4   7 
  64    1   4   7 
  128    1   2   7 
  256    1   3   7 
  512    1   2   7 
  1024    1   3   7 
  2048    1   1   5 
  4096    1   2   5 
  8192    1   1   7 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2269e-02   1.1981e-05   1.34   0.57   0.18   1.95 
  16   6.1470e-03   1.2006e-05   2.67   0.57   0.18   1.91 
  32   3.1072e-03   1.2138e-05   5.27   0.58   0.19   1.98 
  64   1.5751e-03   1.2306e-05   10.40   0.56   0.19   1.91 
  128   8.0872e-04   1.2636e-05   20.26   0.53   0.18   1.86 
  256   4.2181e-04   1.3182e-05   38.84   0.52   0.19   1.79 
  512   2.2926e-04   1.4328e-05   71.47   0.47   0.17   1.55 
  1024   1.3553e-04   1.6941e-05   120.89   0.40   0.14   1.35 
  2048   8.5319e-05   2.1330e-05   192.03   0.33   0.14   1.07 
  4096   5.8723e-05   2.9362e-05   279.00   0.22   0.15   0.61 
  8192   4.5851e-05   4.5851e-05   357.33   0.38   0.41   0.66 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   0   1 
  16   6   2   4   0   1 
  32   6   2   4   1   0 
  64   6   2   4   0   1 
  128   6   2   0   4   1 
  256   6   2   0   4   1 
  512   6   2   4   0   1 
  1024   6   2   4   0   3 
  2048   6   2   4   5   3 
  4096   2   4   6   3   5 
  8192   4   5   6   7   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   7 
  16    1   2   7 
  32    1   1   7 
  64    1   2   7 
  128    1   3   7 
  256    1   2   7 
  512    1   2   7 
  1024    2   3   7 
  2048    2   3   7 
  4096    2   3   6 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2185e-02   1.1900e-05   1.34   0.56   0.17   2.05 
  16   6.1094e-03   1.1932e-05   2.68   0.56   0.17   1.99 
  32   3.0687e-03   1.1987e-05   5.34   0.50   0.18   1.85 
  64   1.5614e-03   1.2198e-05   10.49   0.54   0.17   2.02 
  128   7.9777e-04   1.2465e-05   20.54   0.53   0.18   1.86 
  256   4.1621e-04   1.3007e-05   39.36   0.51   0.16   1.86 
  512   2.2247e-04   1.3904e-05   73.65   0.48   0.15   1.68 
  1024   1.2676e-04   1.5844e-05   129.26   0.43   0.13   1.47 
  2048   8.0096e-05   2.0024e-05   204.56   0.32   0.10   1.12 
  4096   5.4574e-05   2.7287e-05   300.21   0.25   0.12   0.76 
  8192   4.2851e-05   4.2851e-05   382.35   0.38   0.41   0.59 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   0   2   4   1 
  16   6   0   2   4   1 
  32   6   2   0   4   1 
  64   6   2   0   4   1 
  128   6   2   4   0   1 
  256   6   2   4   0   1 
  512   6   2   4   0   1 
  1024   6   2   4   0   5 
  2048   6   2   4   3   5 
  4096   4   2   6   3   5 
  8192   4   5   2   6   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   3   7 
  16    1   3   7 
  32    1   3   7 
  64    1   4   7 
  128    1   3   7 
  256    1   4   7 
  512    1   3   7 
  1024    1   3   7 
  2048    2   3   7 
  4096    1   2   7 
  8192    1   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:18:24 EDT.
86154 accesses since 1/2/96.