Performance Studies using COMMTEST

IBM SP3-200 SWAP Performance

(unordered swap of 2MB message using MPI and US between nodes)

unordered simple swap

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 112.30 43.99 31.5% 1 iter. 127.56 44.27 32.1% 10 iter. 136.12 45.02 34.9%

unordered swap using nonblocking send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.04 48.40 38.5% 1 iter. 158.32 43.49 40.6% 10 iter. 158.22 47.88 37.9% cache inv. w/overlap 143.36 58.09 37.4% 1 iter. w/overlap 157.31 49.28 38.7% 10 iter. w/overlap 158.52 41.72 41.6%

unordered swap using nonblocking receive

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.56 47.07 51.1% 1 iter. 156.81 45.65 47.3% 10 iter. 152.90 46.71 46.4% cache inv. w/overlap 145.42 50.68 49.0% 1 iter. w/overlap 157.44 47.27 48.4% 10 iter. w/overlap 157.03 47.56 45.4%

unordered swap using nonblocking send and receive

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.70 50.30 50.1% 1 iter. 157.03 50.35 50.4% 10 iter. 158.15 49.66 47.0% cache inv. w/overlap 145.09 56.05 55.7% 1 iter. w/overlap 156.61 51.08 55.8% 10 iter. w/overlap 141.42 52.23 51.4%

unordered swap using ready send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.61 80.30 21.0% 1 iter. 157.94 79.01 20.0% 10 iter. 159.53 79.15 19.5% cache inv. w/overlap 144.72 58.03 22.0% 1 iter. w/overlap 156.21 48.78 23.2% 10 iter. w/overlap 158.07 48.01 21.4%

unordered swap using nonblocking ready send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.33 84.33 21.2% 1 iter. 157.23 86.30 21.7% 10 iter. 158.84 82.04 19.6% cache inv. w/overlap 144.71 56.42 21.9% 1 iter. w/overlap 156.59 51.59 22.8% 10 iter. w/overlap 160.29 51.34 22.0%

native sendrecv

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.88 47.00 49.4% 1 iter. 155.12 49.27 42.1% 10 iter. 159.58 46.38 49.4%

unordered swap using nonblocking sync. send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.81 100.63 19.1% 1 iter. 156.57 97.65 20.4% 10 iter. 160.48 96.10 18.5% cache inv. w/overlap 143.47 104.61 20.2% 1 iter. w/overlap 157.21 97.21 19.7% 10 iter. w/overlap 161.01 95.69 18.2%

unordered swap using nonblocking receive with sync. send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.27 99.82 35.8% 1 iter. 157.95 108.57 33.0% 10 iter. 160.15 119.51 29.9% cache inv. w/overlap 144.66 125.52 29.6% 1 iter. w/overlap 154.29 132.61 28.9% 10 iter. w/overlap 144.00 124.55 21.3%

unordered swap using nonblocking sync. send and receive

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 144.39 108.70 33.6% 1 iter. 157.22 116.92 34.6% 10 iter. 157.97 123.28 27.1% cache inv. w/overlap 143.20 127.25 37.5% 1 iter. w/overlap 156.10 141.90 33.8% 10 iter. w/overlap 132.96 119.00 30.4%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv./no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    9.1885e-02    8.9731e-05    45.65    0.32    0.38    0.90    4096    6.7785e-02    1.3239e-04    61.88    0.25    0.26    0.76    8192    6.2753e-02    2.4513e-04    66.84    0.19    0.28    0.35    16384    4.7497e-02    3.7107e-04    88.31    0.06    0.05    0.12    32768    4.2360e-02    6.6187e-04    99.02    0.17    0.28    0.34    65536    3.8157e-02    1.1924e-03    109.92    0.08    0.10    0.19    131072    3.3534e-02    2.0959e-03    125.07    0.07    0.06    0.21    262144    3.1104e-02    3.8880e-03    134.85    0.06    0.02    0.22    524288    2.9849e-02    7.4622e-03    140.52    0.04    0.02    0.25    1048576    2.9360e-02    1.4680e-02    142.86    0.05    0.00    0.46    2097152    2.8950e-02    2.8950e-02    144.88    0.05    0.00    0.47

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    2    6    1    0    3    4096    2    6    1    3    0    8192    4    5    7    1    0    16384    4    5    6    2    8    32768    4    5    1    7    0    65536    4    5    7    1    9    131072    4    8    5    7    1    262144    4    7    5    1    9    524288    5    7    8    9    4    1048576    8    3    1    7    4    2097152    6    7    3    4    2         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    2    5    5    4096    3    5    5    8192    1    2    5    16384    1    5    10    32768    1    4    5    65536    1    4    10    131072    3    5    10    262144    3    7    10    524288    3    8    9    1048576    8    9    9    2097152    9    9    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    8.7192e-02    8.5148e-05    48.10    0.33    0.39    0.88    4096    6.3801e-02    1.2461e-04    65.74    0.24    0.27    0.66    8192    5.8443e-02    2.2829e-04    71.77    0.18    0.17    0.37    16384    4.3962e-02    3.4346e-04    95.41    0.05    0.05    0.11    32768    3.9387e-02    6.1543e-04    106.49    0.14    0.23    0.33    65536    3.4799e-02    1.0875e-03    120.53    0.12    0.14    0.26    131072    3.0956e-02    1.9348e-03    135.49    0.09    0.07    0.21    262144    2.8755e-02    3.5943e-03    145.86    0.06    0.05    0.17    524288    2.7519e-02    6.8797e-03    152.42    0.03    0.02    0.19    1048576    2.6761e-02    1.3381e-02    156.73    0.06    0.02    0.46    2097152    2.6493e-02    2.6493e-02    158.32    0.05    0.01    0.46

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    2    1    0    6    3    4096    6    2    3    0    1    8192    4    5    1    7    0    16384    4    5    2    7    1    32768    1    4    7    5    0    65536    4    5    7    1    0    131072    5    1    7    4    8    262144    5    7    4    1    2    524288    7    5    1    3    4    1048576    1    7    4    8    5    2097152    1    8    4    5    9         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    5    5    4096    2    5    5    8192    1    1    8    16384    2    6    10    32768    3    4    7    65536    1    4    9    131072    3    5    10    262144    3    7    10    524288    3    9    10    1048576    2    9    9    2097152    7    9    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    8.6171e-02    8.4151e-05    48.67    0.35    0.41    0.96    4096    6.2425e-02    1.2192e-04    67.19    0.25    0.29    0.69    8192    5.7868e-02    2.2605e-04    72.48    0.16    0.24    0.30    16384    4.2447e-02    3.3162e-04    98.81    0.08    0.11    0.13    32768    3.7082e-02    5.7941e-04    113.11    0.18    0.27    0.34    65536    3.3802e-02    1.0563e-03    124.08    0.09    0.14    0.18    131072    2.9649e-02    1.8531e-03    141.46    0.09    0.13    0.18    262144    2.7611e-02    3.4513e-03    151.91    0.08    0.12    0.17    524288    2.6638e-02    6.6594e-03    157.46    0.06    0.07    0.16    1048576    2.6292e-02    1.3146e-02    159.53    0.09    0.07    0.52    2097152    2.6137e-02    2.6137e-02    160.48    0.06    0.01    0.48

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    6    2    1    0    3    4096    6    1    2    0    3    8192    4    5    7    1    0    16384    4    5    7    1    8    32768    4    5    7    1    0    65536    4    5    7    1    0    131072    5    7    4    1    8    262144    4    1    7    5    6    524288    7    5    1    4    9    1048576    4    7    5    1    8    2097152    7    8    6    5    1         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    4    5    4096    2    4    5    8192    1    2    7    16384    1    2    10    32768    1    4    5    65536    3    4    10    131072    2    4    10    262144    2    4    10    524288    3    5    10    1048576    2    5    9    2097152    3    9    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv. with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    9.4795e-02    9.2573e-05    44.25    0.27    0.09    0.91    4096    6.9688e-02    1.3611e-04    60.19    0.19    0.06    0.66    8192    5.5613e-02    2.1724e-04    75.42    0.38    0.47    0.76    16384    4.3822e-02    3.4236e-04    95.71    0.22    0.22    0.57    32768    4.1201e-02    6.4377e-04    101.80    0.22    0.28    0.46    65536    3.7730e-02    1.1791e-03    111.17    0.13    0.12    0.32    131072    3.3624e-02    2.1015e-03    124.74    0.07    0.09    0.21    262144    3.1104e-02    3.8880e-03    134.85    0.06    0.03    0.24    524288    2.9878e-02    7.4695e-03    140.38    0.06    0.03    0.41    1048576    2.9291e-02    1.4645e-02    143.20    0.05    0.01    0.45    2097152    2.8843e-02    2.8843e-02    145.42    0.06    0.01    0.49

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    6    0    2    4    5    4096    6    4    2    0    5    8192    5    4    7    1    0    16384    4    5    7    1    2    32768    4    5    1    7    0    65536    4    5    7    8    9    131072    4    5    8    7    1    262144    5    4    1    7    8    524288    5    9    7    4    3    1048576    9    4    5    7    6    2097152    2    3    4    5    8         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    3    7    4096    1    5    7    8192    1    2    3    16384    1    2    6    32768    2    2    5    65536    1    3    9    131072    1    5    10    262144    2    7    10    524288    2    7    9    1048576    7    8    9    2097152    5    9    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    8.8675e-02    8.6597e-05    47.30    0.28    0.07    1.00    4096    6.4281e-02    1.2555e-04    65.25    0.20    0.06    0.63    8192    5.1235e-02    2.0014e-04    81.86    0.37    0.44    0.76    16384    4.0304e-02    3.1488e-04    104.07    0.16    0.19    0.36    32768    3.7284e-02    5.8256e-04    112.50    0.22    0.32    0.46    65536    3.4461e-02    1.0769e-03    121.71    0.12    0.15    0.34    131072    3.0277e-02    1.8923e-03    138.53    0.11    0.10    0.24    262144    2.8385e-02    3.5482e-03    147.76    0.08    0.07    0.20    524288    2.7482e-02    6.8705e-03    152.62    0.04    0.02    0.16    1048576    2.6846e-02    1.3423e-02    156.23    0.07    0.02    0.45    2097152    2.6641e-02    2.6641e-02    157.44    0.05    0.01    0.45

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    6    0    2    1    4    4096    6    2    1    4    0    8192    4    5    1    7    0    16384    4    5    1    2    7    32768    4    5    7    1    0    65536    5    4    7    1    2    131072    5    7    4    1    2    262144    5    7    4    1    3    524288    7    2    5    3    1    1048576    5    7    1    4    8    2097152    2    1    7    6    3         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    3    5    7    4096    1    5    7    8192    1    2    3    16384    2    2    9    32768    2    2    5    65536    1    4    9    131072    1    4    10    262144    1    5    10    524288    2    8    10    1048576    3    7    9    2097152    8    9    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    8.6088e-02    8.4071e-05    48.72    0.27    0.07    0.98    4096    6.2758e-02    1.2257e-04    66.83    0.20    0.05    0.74    8192    4.9376e-02    1.9287e-04    84.95    0.39    0.44    0.81    16384    3.8162e-02    2.9814e-04    109.91    0.28    0.23    0.75    32768    3.5133e-02    5.4896e-04    119.38    0.25    0.34    0.54    65536    3.2916e-02    1.0286e-03    127.42    0.15    0.18    0.40    131072    2.9506e-02    1.8441e-03    142.15    0.11    0.13    0.28    262144    2.7776e-02    3.4720e-03    151.00    0.10    0.13    0.26    524288    2.6500e-02    6.6251e-03    158.27    0.09    0.09    0.25    1048576    2.6167e-02    1.3084e-02    160.29    0.12    0.06    0.51    2097152    2.5983e-02    2.5983e-02    161.43    0.13    0.08    0.61

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    1    2    6    0    4    4096    2    6    4    1    0    8192    4    5    7    1    0    16384    4    5    7    1    6    32768    4    5    7    1    0    65536    4    5    7    1    0    131072    4    5    7    1    6    262144    5    1    4    7    2    524288    7    5    4    1    2    1048576    5    7    1    4    2    2097152    6    7    5    1    4         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    5    7    4096    2    7    7    8192    1    2    2    16384    1    2    8    32768    2    2    5    65536    2    3    8    131072    2    4    8    262144    4    4    9    524288    1    4    9    1048576    1    5    9    2097152    2    5    9

DISCUSSION

• The SP3 Winterhawk I processing node consists of two processors. MPI between processors within a node uses a shared memory implementation for communication, in contrast to communication between nodes which uses a network interface card and an external switch.

---

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:14:26 EDT.
86200 accesses since 1/2/96.