Performance Studies using COMMTEST

IBM SP3-200 SWAP Performance

(ordered swap of 2MB message using MPI and US between nodes)

ordered simple swap

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 126.92 45.36 50.6% 1 iter. 131.90 47.89 48.1% 10 iter. 130.63 46.32 48.4%

ordered swap using nonblocking send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 127.87 50.52 50.3% 1 iter. 130.39 47.91 48.9% 10 iter. 129.99 47.82 48.4% cache inv. w/overlap 127.68 50.01 50.9% 1 iter. w/overlap 131.28 48.69 49.2% 10 iter. w/overlap 127.82 45.11 49.6%

ordered swap using nonblocking receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 126.32 49.39 50.4% 1 iter. 131.03 48.25 49.3% 10 iter. 129.83 47.87 48.7% cache inv. w/overlap 124.81 53.41 49.0% 1 iter. w/overlap 129.82 51.32 48.0% 10 iter. w/overlap 130.34 48.03 49.4%

ordered swap using nonblocking send and receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 126.73 54.40 48.7% 1 iter. 132.44 53.24 47.6% 10 iter. 129.39 50.06 48.3% cache inv. w/overlap 123.18 55.01 48.8% 1 iter. w/overlap 130.76 53.15 48.1% 10 iter. w/overlap 130.20 53.09 48.0%

ordered swap using ready send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 127.34 58.44 34.7% 1 iter. 128.40 56.99 31.9% 10 iter. 132.92 55.25 32.9% cache inv. w/overlap 125.47 52.70 38.1% 1 iter. w/overlap 129.85 49.06 36.0% 10 iter. w/overlap 130.36 50.01 33.3%

ordered swap using nonblocking ready send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 127.18 62.31 33.8% 1 iter. 131.90 59.69 32.6% 10 iter. 131.50 57.91 32.1% cache inv. w/overlap 124.79 54.39 36.5% 1 iter. w/overlap 129.83 54.91 33.5% 10 iter. w/overlap 131.49 50.11 34.9%

synchronous

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 127.41 48.64 50.5% 1 iter. 131.42 51.03 47.0% 10 iter. 130.14 49.12 47.7%

ordered swap using nonblocking sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 125.76 100.23 29.3% 1 iter. 131.15 91.00 29.4% 10 iter. 130.14 95.80 27.1% cache inv. w/overlap 125.70 104.50 29.1% 1 iter. w/overlap 129.56 102.00 25.3% 10 iter. w/overlap 129.81 96.71 25.9%

ordered swap using nonblocking receive with sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 127.42 101.62 30.0% 1 iter. 129.62 94.37 27.7% 10 iter. 129.68 96.61 25.9% cache inv. w/overlap 125.45 103.74 28.9% 1 iter. w/overlap 130.12 96.64 27.3% 10 iter. w/overlap 128.98 97.19 25.5%

ordered swap using nonblocking sync. send and receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 127.20 100.80 30.7% 1 iter. 131.07 97.10 27.4% 10 iter. 129.97 98.22 26.9% cache inv. w/overlap 124.61 103.36 30.2% 1 iter. w/overlap 128.92 99.41 27.0% 10 iter. w/overlap 131.04 98.86 27.0%

ordered simple swap using sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 130.28 97.05 31.6% 1 iter. 131.11 96.95 27.2% 10 iter. 130.03 94.61 25.6%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv./no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    1.6955e-01    1.6558e-04    24.74    0.27    0.14    0.66    4096    1.2242e-01    2.3911e-04    34.26    0.17    0.07    0.46    8192    9.6229e-02    3.7590e-04    43.59    0.19    0.22    0.25    16384    7.2467e-02    5.6615e-04    57.88    0.12    0.14    0.17    32768    5.8858e-02    9.1965e-04    71.26    0.08    0.10    0.11    65536    4.8824e-02    1.5257e-03    85.91    0.07    0.09    0.13    131072    4.0837e-02    2.5523e-03    102.71    0.04    0.03    0.09    262144    3.7213e-02    4.6516e-03    112.71    0.01    0.01    0.04    524288    3.4463e-02    8.6156e-03    121.71    0.02    0.02    0.04    1048576    3.3652e-02    1.6826e-02    124.64    0.01    0.01    0.03    2097152    3.2196e-02    3.2196e-02    130.28    0.02    0.02    0.04

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    6    2    1    3    4096    6    1    0    2    3    8192    4    5    0    6    8    16384    4    5    0    1    6    32768    4    5    0    2    3    65536    4    5    10    6    3    131072    4    5    10    6    0    262144    5    0    1    8    10    524288    4    3    0    8    2    1048576    2    1    5    10    7    2097152    10    1    8    6    4         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    4    7    4096    4    5    7    8192    1    2    11    16384    1    2    11    32768    2    2    11    65536    1    2    11    131072    1    7    11    262144    9    11    11    524288    3    11    11    1048576    8    11    11    2097152    1    11    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    1.6126e-01    1.5748e-04    26.01    0.27    0.12    0.67    4096    1.1222e-01    2.1918e-04    37.38    0.21    0.09    0.51    8192    9.0758e-02    3.5452e-04    46.21    0.19    0.23    0.24    16384    6.6936e-02    5.2293e-04    62.66    0.13    0.15    0.17    32768    5.3814e-02    8.4084e-04    77.94    0.08    0.10    0.12    65536    4.6232e-02    1.4447e-03    90.72    0.05    0.05    0.07    131072    3.8737e-02    2.4211e-03    108.28    0.03    0.04    0.05    262144    3.5096e-02    4.3870e-03    119.51    0.02    0.02    0.04    524288    3.3323e-02    8.3307e-03    125.87    0.01    0.01    0.03    1048576    3.2101e-02    1.6051e-02    130.66    0.02    0.01    0.04    2097152    3.1670e-02    3.1670e-02    132.44    0.01    0.01    0.04

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    2    1    6    3    4096    0    2    1    6    3    8192    4    5    0    6    1    16384    4    5    2    0    7    32768    4    5    0    10    2    65536    4    5    6    0    2    131072    5    4    2    9    6    262144    4    5    0    2    8    524288    0    4    8    5    10    1048576    0    5    2    6    9    2097152    3    5    0    6    7         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    4    7    4096    1    5    7    8192    1    2    11    16384    1    2    11    32768    2    2    11    65536    2    2    11    131072    2    10    11    262144    1    11    11    524288    6    11    11    1048576    3    11    11    2097152    5    11    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    1.5800e-01    1.5430e-04    26.55    0.28    0.13    0.69    4096    1.1057e-01    2.1595e-04    37.93    0.21    0.11    0.51    8192    8.9159e-02    3.4828e-04    47.04    0.20    0.23    0.27    16384    6.5405e-02    5.1098e-04    64.13    0.13    0.16    0.18    32768    5.2117e-02    8.1433e-04    80.48    0.09    0.11    0.13    65536    4.5198e-02    1.4124e-03    92.80    0.06    0.07    0.09    131072    3.8404e-02    2.4002e-03    109.22    0.04    0.04    0.05    262144    3.4983e-02    4.3729e-03    119.90    0.02    0.02    0.03    524288    3.3198e-02    8.2995e-03    126.34    0.01    0.01    0.02    1048576    3.2455e-02    1.6227e-02    129.24    0.01    0.01    0.02    2097152    3.1555e-02    3.1555e-02    132.92    0.02    0.02    0.03

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    2    1    6    3    4096    0    2    1    6    3    8192    4    5    0    10    6    16384    4    5    0    10    6    32768    4    5    0    10    6    65536    4    5    0    1    6    131072    4    5    10    0    1    262144    4    0    10    6    5    524288    4    5    3    6    8    1048576    4    2    0    10    8    2097152    4    5    0    6    7         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    4    7    4096    1    4    7    8192    1    2    8    16384    2    2    11    32768    1    2    11    65536    1    2    11    131072    1    11    11    262144    1    11    11    524288    2    11    11    1048576    5    11    11    2097152    1    11    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv. with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    1.6974e-01    1.6576e-04    24.71    0.28    0.10    0.70    4096    1.2091e-01    2.3615e-04    34.69    0.20    0.08    0.51    8192    9.6772e-02    3.7801e-04    43.34    0.19    0.23    0.26    16384    7.1366e-02    5.5754e-04    58.77    0.15    0.17    0.21    32768    5.8039e-02    9.0686e-04    72.27    0.11    0.13    0.14    65536    4.9386e-02    1.5433e-03    84.93    0.06    0.06    0.08    131072    4.1655e-02    2.6035e-03    100.69    0.02    0.03    0.04    262144    3.7339e-02    4.6674e-03    112.33    0.02    0.02    0.04    524288    3.5194e-02    8.7986e-03    119.18    0.01    0.01    0.01    1048576    3.3765e-02    1.6883e-02    124.22    0.01    0.01    0.03    2097152    3.2011e-02    3.2011e-02    131.03    0.04    0.04    0.07

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    6    1    2    4    4096    0    2    6    1    4    8192    5    4    0    10    6    16384    4    5    0    10    6    32768    4    5    0    6    2    65536    4    5    6    10    0    131072    5    4    10    3    8    262144    5    6    1    10    2    524288    3    4    10    7    0    1048576    6    9    7    3    1    2097152    10    1    0    7    6         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    2    7    4096    1    3    7    8192    2    2    9    16384    1    2    11    32768    1    2    11    65536    1    2    11    131072    2    11    11    262144    1    11    11    524288    10    11    11    1048576    6    11    11    2097152    1    8    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    1.6131e-01    1.5753e-04    26.00    0.28    0.11    0.71    4096    1.1263e-01    2.1998e-04    37.24    0.22    0.09    0.53    8192    8.9743e-02    3.5056e-04    46.74    0.21    0.25    0.27    16384    6.6607e-02    5.2036e-04    62.97    0.14    0.16    0.20    32768    5.3170e-02    8.3079e-04    78.88    0.10    0.11    0.15    65536    4.5909e-02    1.4346e-03    91.36    0.06    0.07    0.10    131072    3.8981e-02    2.4363e-03    107.60    0.04    0.04    0.06    262144    3.5271e-02    4.4089e-03    118.92    0.02    0.02    0.03    524288    3.3330e-02    8.3326e-03    125.84    0.02    0.02    0.03    1048576    3.2244e-02    1.6122e-02    130.08    0.02    0.02    0.03    2097152    3.1949e-02    3.1949e-02    131.28    0.01    0.01    0.02

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    6    2    1    4    4096    0    6    2    1    4    8192    4    5    0    10    6    16384    4    5    10    0    2    32768    4    5    0    10    6    65536    4    5    6    7    2    131072    4    5    10    0    6    262144    5    4    0    1    10    524288    5    9    0    2    4    1048576    1    5    8    3    7    2097152    1    3    10    8    4         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    2    7    4096    1    3    7    8192    1    2    6    16384    1    2    11    32768    1    2    11    65536    1    2    11    131072    1    7    11    262144    1    11    11    524288    2    11    11    1048576    2    11    11    2097152    4    11    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    1.5957e-01    1.5583e-04    26.29    0.27    0.07    0.69    4096    1.1211e-01    2.1896e-04    37.41    0.20    0.07    0.51    8192    8.6621e-02    3.3836e-04    48.42    0.23    0.27    0.32    16384    6.4235e-02    5.0184e-04    65.30    0.16    0.19    0.22    32768    5.1865e-02    8.1038e-04    80.87    0.10    0.12    0.14    65536    4.5398e-02    1.4187e-03    92.39    0.06    0.07    0.08    131072    3.8575e-02    2.4109e-03    108.73    0.03    0.04    0.04    262144    3.4987e-02    4.3733e-03    119.88    0.02    0.02    0.03    524288    3.3123e-02    8.2807e-03    126.63    0.01    0.02    0.02    1048576    3.2567e-02    1.6284e-02    128.79    0.01    0.01    0.02    2097152    3.1898e-02    3.1898e-02    131.49    0.01    0.01    0.03

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    2    6    1    4    4096    0    6    2    4    3    8192    4    5    0    6    10    16384    4    5    0    10    7    32768    4    5    0    8    10    65536    4    5    0    6    7    131072    5    4    6    2    0    262144    4    5    7    9    6    524288    5    9    4    6    0    1048576    7    4    5    3    9    2097152    5    9    4    2    3         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    4    7    4096    1    4    7    8192    1    2    3    16384    1    2    11    32768    1    2    11    65536    2    2    11    131072    2    11    11    262144    2    11    11    524288    4    11    11    1048576    6    11    11    2097152    5    11    11

DISCUSSION

• The SP3 Winterhawk I processing node consists of two processors. MPI between processors within a node uses a shared memory implementation for communication, in contrast to communication between nodes which uses a network interface card and an external switch.

---

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:14:37 EDT.
86402 accesses since 1/2/96.