COMMTEST SP3-375 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM SP3-375 Winterhawk II SWAP Performance

(ordered swap of 2MB message using MPI within a node)

Date/Person: May 25, 2000 / P. Worley
Platform: IBM SP3 at Oak Ridge National Laboratory (eagle.ccs.ornl.gov):
     160 4-way Winterhawk II SMP nodes (375MHz POWER3 with 8MB L2 cache)
Environment: AIX 4.3.3;   PSSP 3.1.1
Communication Library: shared memory MPI within a node, MPI over the switch between nodes, using User Space protocol in both cases
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 333.91 9.41 41.3%
1 iter. 456.82 9.16 46.2%
10 iter. 473.89 8.91 43.5%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 337.20 10.29 41.3%
1 iter. 448.83 10.14 44.6%
10 iter. 474.44 9.77 42.9%
cache inv. w/overlap 333.30 10.67 40.9%
1 iter. w/overlap 435.60 10.63 43.8%
10 iter. w/overlap 480.93 10.21 43.7%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 340.63 10.42 41.6%
1 iter. 453.98 10.21 45.3%
10 iter. 482.13 9.93 43.3%
cache inv. w/overlap 335.97 10.86 40.8%
1 iter. w/overlap 449.68 10.68 44.7%
10 iter. w/overlap 482.48 10.20 43.4%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 342.42 11.17 41.5%
1 iter. 439.78 11.08 43.3%
10 iter. 475.19 10.72 42.2%
cache inv. w/overlap 336.31 11.87 40.7%
1 iter. w/overlap 441.29 11.88 43.5%
10 iter. w/overlap 479.33 11.29 43.8%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 339.82 13.03 33.0%
1 iter. 443.89 12.54 34.5%
10 iter. 490.10 12.56 32.9%
cache inv. w/overlap 342.21 10.90 33.1%
1 iter. w/overlap 450.03 10.90 35.9%
10 iter. w/overlap 487.70 10.24 33.5%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 341.62 13.58 33.0%
1 iter. 451.62 13.54 35.7%
10 iter. 487.79 13.18 32.5%
cache inv. w/overlap 341.44 11.84 33.3%
1 iter. w/overlap 452.99 11.60 36.5%
10 iter. w/overlap 489.48 11.20 33.5%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 336.51 12.58 39.8%
1 iter. 451.36 12.17 43.5%
10 iter. 478.06 12.15 40.9%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 340.82 21.73 31.5%
1 iter. 457.45 21.47 34.0%
10 iter. 472.93 21.03 29.0%
cache inv. w/overlap 340.83 22.00 31.4%
1 iter. w/overlap 450.20 22.07 34.0%
10 iter. w/overlap 481.63 21.88 29.9%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 330.93 21.94 29.5%
1 iter. 442.12 21.58 32.3%
10 iter. 469.87 21.18 28.7%
cache inv. w/overlap 339.24 22.27 31.1%
1 iter. w/overlap 451.53 22.32 34.2%
10 iter. w/overlap 478.30 21.54 29.6%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 340.53 22.74 31.1%
1 iter. 452.17 22.50 33.6%
10 iter. 469.99 21.99 28.5%
cache inv. w/overlap 338.13 23.40 30.8%
1 iter. w/overlap 450.28 23.36 33.7%
10 iter. w/overlap 481.93 23.77 29.5%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 340.27 20.98 31.2%
1 iter. 447.01 20.63 33.6%
10 iter. 476.14 20.18 29.5%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.8334e-02   3.7436e-05   109.41   0.31   0.19   0.72 
  4096   2.8696e-02   5.6047e-05   146.16   0.21   0.13   0.48 
  8192   2.5753e-02   1.0060e-04   162.86   0.15   0.17   0.22 
  16384   2.2464e-02   1.7550e-04   186.71   0.08   0.10   0.11 
  32768   2.0904e-02   3.2663e-04   200.64   0.04   0.05   0.06 
  65536   1.7307e-02   5.4084e-04   242.35   0.03   0.03   0.04 
  131072   1.4864e-02   9.2898e-04   282.19   0.02   0.02   0.04 
  262144   1.3420e-02   1.6774e-03   312.55   0.02   0.01   0.06 
  524288   1.2831e-02   3.2078e-03   326.88   0.02   0.01   0.06 
  1048576   1.2425e-02   6.2126e-03   337.56   0.02   0.01   0.09 
  2097152   1.2249e-02   1.2249e-02   342.42   0.02   0.01   0.09 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   2   3   6 
  4096   0   1   2   3   6 
  8192   4   5   0   10   1 
  16384   4   5   0   10   1 
  32768   4   5   0   10   1 
  65536   4   5   10   0   1 
  131072   4   5   7   0   1 
  262144   4   1   0   7   5 
  524288   4   3   0   2   8 
  1048576   10   4   2   7   3 
  2097152   3   5   7   2   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   7 
  4096    1   3   7 
  8192    1   2   11 
  16384    2   2   11 
  32768    2   7   11 
  65536    2   11   11 
  131072    2   11   11 
  262144    3   10   11 
  524288    4   10   11 
  1048576    6   10   11 
  2097152    7   10   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.4151e-02   3.3351e-05   122.82   0.35   0.21   0.80 
  4096   2.4771e-02   4.8381e-05   169.32   0.24   0.15   0.55 
  8192   2.1911e-02   8.5592e-05   191.42   0.17   0.20   0.25 
  16384   1.8724e-02   1.4628e-04   224.00   0.09   0.11   0.13 
  32768   1.6884e-02   2.6381e-04   248.42   0.06   0.07   0.09 
  65536   1.3023e-02   4.0696e-04   322.07   0.05   0.05   0.06 
  131072   1.1199e-02   6.9997e-04   374.51   0.04   0.04   0.07 
  262144   1.0254e-02   1.2817e-03   409.04   0.02   0.01   0.07 
  524288   9.6351e-03   2.4088e-03   435.31   0.02   0.01   0.10 
  1048576   9.4119e-03   4.7060e-03   445.64   0.03   0.02   0.14 
  2097152   9.1689e-03   9.1689e-03   457.45   0.02   0.01   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   2   3   6 
  4096   0   1   2   3   6 
  8192   4   5   0   10   1 
  16384   4   5   10   0   1 
  32768   4   5   0   7   8 
  65536   5   4   10   2   0 
  131072   4   6   3   7   5 
  262144   10   2   1   0   5 
  524288   9   10   4   3   7 
  1048576   5   6   4   10   9 
  2097152   7   0   2   9   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   1   6 
  4096    1   3   7 
  8192    1   2   10 
  16384    2   2   11 
  32768    1   2   11 
  65536    1   4   11 
  131072    1   8   11 
  262144    5   8   11 
  524288    6   10   11 
  1048576    4   10   11 
  2097152    3   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.1643e-02   3.0901e-05   132.55   0.38   0.23   0.85 
  4096   2.2520e-02   4.3984e-05   186.25   0.26   0.16   0.61 
  8192   1.9904e-02   7.7748e-05   210.73   0.19   0.22   0.27 
  16384   1.6750e-02   1.3086e-04   250.40   0.11   0.13   0.15 
  32768   1.5160e-02   2.3688e-04   276.66   0.06   0.07   0.08 
  65536   1.1535e-02   3.6046e-04   363.63   0.04   0.04   0.05 
  131072   9.9565e-03   6.2228e-04   421.26   0.03   0.03   0.04 
  262144   9.2466e-03   1.1558e-03   453.61   0.02   0.02   0.02 
  524288   8.8782e-03   2.2196e-03   472.43   0.01   0.01   0.01 
  1048576   8.5581e-03   4.2791e-03   490.10   0.03   0.03   0.05 
  2097152   8.9467e-03   8.9467e-03   468.81   0.02   0.01   0.07 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   2   3   6 
  4096   0   1   2   3   6 
  8192   4   5   0   10   1 
  16384   4   5   0   10   1 
  32768   4   5   0   10   1 
  65536   4   5   0   10   1 
  131072   4   5   6   10   0 
  262144   5   4   10   8   6 
  524288   3   6   4   5   0 
  1048576   4   5   2   6   10 
  2097152   8   7   6   1   0 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   1   6 
  4096    1   3   7 
  8192    1   2   9 
  16384    1   2   11 
  32768    2   2   11 
  65536    2   9   11 
  131072    2   11   11 
  262144    2   11   11 
  524288    9   11   11 
  1048576    2   11   11 
  2097152    4   10   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.8711e-02   3.7804e-05   108.35   0.30   0.13   0.74 
  4096   2.8909e-02   5.6463e-05   145.09   0.20   0.09   0.50 
  8192   2.4647e-02   9.6278e-05   170.17   0.20   0.24   0.27 
  16384   2.1917e-02   1.7123e-04   191.37   0.11   0.13   0.16 
  32768   2.0407e-02   3.1885e-04   205.54   0.07   0.08   0.09 
  65536   1.7059e-02   5.3308e-04   245.88   0.04   0.05   0.06 
  131072   1.4881e-02   9.3005e-04   281.86   0.02   0.02   0.04 
  262144   1.3628e-02   1.7035e-03   307.77   0.01   0.01   0.02 
  524288   1.2733e-02   3.1832e-03   329.41   0.01   0.01   0.02 
  1048576   1.2369e-02   6.1846e-03   339.09   0.02   0.01   0.02 
  2097152   1.2257e-02   1.2257e-02   342.21   0.01   0.01   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   2   4   5 
  4096   0   2   1   4   5 
  8192   4   5   0   10   2 
  16384   4   5   0   10   2 
  32768   4   5   0   10   6 
  65536   4   5   10   0   6 
  131072   4   5   7   0   8 
  262144   10   5   7   8   0 
  524288   5   6   10   7   0 
  1048576   5   6   4   2   10 
  2097152   4   5   10   7   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   1   7 
  4096    1   4   7 
  8192    1   2   8 
  16384    2   2   11 
  32768    1   2   11 
  65536    2   7   11 
  131072    1   11   11 
  262144    8   11   11 
  524288    1   11   11 
  1048576    2   11   11 
  2097152    6   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.4793e-02   3.3977e-05   120.55   0.34   0.15   0.83 
  4096   2.5148e-02   4.9118e-05   166.78   0.23   0.10   0.59 
  8192   2.1061e-02   8.2271e-05   199.15   0.23   0.27   0.31 
  16384   1.8176e-02   1.4200e-04   230.77   0.14   0.17   0.19 
  32768   1.6707e-02   2.6104e-04   251.06   0.08   0.10   0.11 
  65536   1.3184e-02   4.1198e-04   318.15   0.05   0.05   0.06 
  131072   1.1140e-02   6.9626e-04   376.50   0.04   0.04   0.07 
  262144   1.0232e-02   1.2790e-03   409.92   0.02   0.02   0.05 
  524288   9.5591e-03   2.3898e-03   438.77   0.03   0.02   0.08 
  1048576   9.3260e-03   4.6630e-03   449.75   0.02   0.01   0.10 
  2097152   9.2591e-03   9.2591e-03   452.99   0.01   0.01   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   2   1   4   5 
  4096   0   2   1   4   5 
  8192   4   5   0   10   2 
  16384   4   5   0   10   2 
  32768   4   5   10   0   6 
  65536   4   5   10   0   7 
  131072   5   4   1   0   2 
  262144   4   5   7   8   0 
  524288   5   4   0   1   6 
  1048576   7   2   5   6   8 
  2097152   5   8   9   7   4 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   1   7 
  4096    1   2   7 
  8192    1   2   4 
  16384    1   2   11 
  32768    1   2   11 
  65536    1   5   11 
  131072    1   8   11 
  262144    2   11   11 
  524288    2   9   11 
  1048576    6   9   11 
  2097152    8   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.1918e-02   3.1170e-05   131.41   0.37   0.15   0.95 
  4096   2.2634e-02   4.4207e-05   185.31   0.27   0.11   0.68 
  8192   1.8843e-02   7.3607e-05   222.59   0.26   0.31   0.37 
  16384   1.6233e-02   1.2682e-04   258.39   0.15   0.18   0.22 
  32768   1.4914e-02   2.3303e-04   281.23   0.08   0.09   0.12 
  65536   1.1311e-02   3.5348e-04   370.80   0.06   0.07   0.08 
  131072   9.9036e-03   6.1898e-04   423.51   0.03   0.04   0.05 
  262144   9.1317e-03   1.1415e-03   459.31   0.03   0.03   0.04 
  524288   8.7025e-03   2.1756e-03   481.96   0.02   0.03   0.03 
  1048576   8.5690e-03   4.2845e-03   489.48   0.01   0.02   0.02 
  2097152   8.8726e-03   8.8726e-03   472.72   0.02   0.02   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   2   4   5 
  4096   0   1   2   4   5 
  8192   4   5   0   10   2 
  16384   4   5   0   10   2 
  32768   4   5   0   10   6 
  65536   4   5   10   0   6 
  131072   4   5   6   10   0 
  262144   5   4   6   0   8 
  524288   4   5   6   7   0 
  1048576   5   4   10   2   0 
  2097152   4   2   10   3   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   1   6 
  4096    1   1   7 
  8192    1   2   2 
  16384    1   2   11 
  32768    2   2   11 
  65536    2   2   11 
  131072    2   11   11 
  262144    2   11   11 
  524288    2   11   11 
  1048576    3   11   11 
  2097152    3   11   11 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:18:29 EDT.
85965 accesses since 1/2/96.