Performance Studies using COMMTEST

IBM SP3-200 SWAP Performance

(ordered swap of 2MB message using shared memory MPI with US within a node)

ordered simple swap

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 269.99 14.45 47.6% 1 iter. 273.34 14.87 45.9% 10 iter. 270.35 14.14 44.4%

ordered swap using nonblocking send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 272.62 16.99 45.3% 1 iter. 279.97 15.86 47.7% 10 iter. 271.68 15.71 44.0% cache inv. w/overlap 273.94 16.14 47.7% 1 iter. w/overlap 278.76 18.17 45.4% 10 iter. w/overlap 274.91 16.19 45.3%

ordered swap using nonblocking receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 273.06 17.60 45.3% 1 iter. 280.38 17.44 45.4% 10 iter. 272.64 16.27 43.7% cache inv. w/overlap 276.60 17.76 45.7% 1 iter. w/overlap 274.20 17.17 46.2% 10 iter. w/overlap 276.03 16.54 44.5%

ordered swap using nonblocking send and receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 272.55 18.11 45.8% 1 iter. 280.27 18.14 47.0% 10 iter. 275.99 17.84 43.5% cache inv. w/overlap 273.75 19.41 48.3% 1 iter. w/overlap 277.89 20.12 45.0% 10 iter. w/overlap 271.60 18.61 45.2%

ordered swap using ready send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 275.36 21.60 40.7% 1 iter. 269.21 21.25 39.2% 10 iter. 275.89 20.63 36.7% cache inv. w/overlap 276.26 17.28 41.7% 1 iter. w/overlap 278.76 17.88 41.9% 10 iter. w/overlap 274.61 16.73 37.5%

ordered swap using nonblocking ready send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 261.04 23.67 38.4% 1 iter. 272.42 22.21 39.7% 10 iter. 275.14 22.11 36.4% cache inv. w/overlap 265.99 19.14 39.8% 1 iter. w/overlap 277.78 20.08 40.6% 10 iter. w/overlap 275.70 18.76 37.5%

synchronous

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 271.39 18.90 43.9% 1 iter. 280.24 17.74 45.7% 10 iter. 276.85 17.94 43.3%

ordered swap using nonblocking sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 259.30 31.83 36.4% 1 iter. 278.91 31.87 39.2% 10 iter. 272.51 32.19 34.0% cache inv. w/overlap 270.40 32.70 38.4% 1 iter. w/overlap 276.91 34.28 38.1% 10 iter. w/overlap 274.74 33.67 34.5%

ordered swap using nonblocking receive with sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 269.37 33.35 38.1% 1 iter. 274.48 32.46 38.7% 10 iter. 273.26 32.22 35.2% cache inv. w/overlap 275.81 32.67 39.4% 1 iter. w/overlap 278.84 33.73 38.8% 10 iter. w/overlap 273.19 32.88 34.5%

ordered swap using nonblocking sync. send and receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 272.41 33.95 38.2% 1 iter. 276.60 35.70 37.6% 10 iter. 273.83 34.11 33.7% cache inv. w/overlap 273.15 36.71 39.8% 1 iter. w/overlap 268.97 35.35 37.5% 10 iter. w/overlap 273.12 37.59 34.3%

ordered simple swap using sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 274.11 30.45 38.4% 1 iter. 278.09 30.01 39.1% 10 iter. 272.63 30.52 34.1%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv./no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    5.7220e-02    5.5879e-05    73.30    0.33    0.25    0.70    4096    4.2419e-02    8.2849e-05    98.88    0.22    0.16    0.47    8192    3.8310e-02    1.4965e-04    109.48    0.13    0.15    0.19    16384    3.2940e-02    2.5735e-04    127.33    0.07    0.09    0.10    32768    3.0333e-02    4.7395e-04    138.28    0.04    0.04    0.06    65536    2.3911e-02    7.4723e-04    175.41    0.02    0.02    0.03    131072    1.9695e-02    1.2309e-03    212.96    0.01    0.02    0.03    262144    1.7473e-02    2.1841e-03    240.04    0.02    0.02    0.06    524288    1.6325e-02    4.0813e-03    256.92    0.02    0.01    0.05    1048576    1.5520e-02    7.7599e-03    270.25    0.02    0.01    0.04    2097152    1.5232e-02    1.5232e-02    275.36    0.03    0.01    0.12

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    1    2    6    3    4096    0    1    2    6    3    8192    4    5    10    0    1    16384    4    5    0    10    2    32768    4    5    10    0    6    65536    4    5    10    0    1    131072    5    0    4    10    8    262144    4    0    6    7    5    524288    5    4    1    6    9    1048576    2    0    8    3    1    2097152    4    10    2    1    3         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    1    6    4096    1    2    7    8192    1    2    11    16384    1    2    11    32768    1    8    11    65536    2    11    11    131072    4    11    11    262144    2    10    11    524288    4    11    11    1048576    5    11    11    2097152    3    9    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    5.7175e-02    5.5835e-05    73.36    0.32    0.23    0.73    4096    4.1951e-02    8.1936e-05    99.98    0.22    0.16    0.48    8192    3.7956e-02    1.4827e-04    110.50    0.13    0.15    0.21    16384    3.2556e-02    2.5434e-04    128.83    0.08    0.09    0.11    32768    3.0078e-02    4.6997e-04    139.45    0.04    0.04    0.05    65536    2.3194e-02    7.2482e-04    180.83    0.02    0.02    0.06    131072    1.9170e-02    1.1981e-03    218.79    0.02    0.02    0.04    262144    1.7381e-02    2.1726e-03    241.32    0.02    0.01    0.04    524288    1.5934e-02    3.9835e-03    263.23    0.02    0.02    0.04    1048576    1.5321e-02    7.6607e-03    273.75    0.02    0.01    0.08    2097152    1.4959e-02    1.4959e-02    280.38    0.02    0.01    0.08

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    1    2    3    6    4096    0    2    1    3    6    8192    4    5    0    10    2    16384    4    5    10    0    1    32768    4    5    0    10    6    65536    4    5    0    10    7    131072    4    1    10    2    9    262144    0    8    5    7    10    524288    6    4    1    8    5    1048576    10    0    7    5    2    2097152    2    3    6    1    7         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    1    6    4096    1    2    7    8192    1    2    11    16384    1    2    11    32768    2    9    11    65536    2    10    11    131072    1    11    11    262144    5    11    11    524288    2    11    11    1048576    5    10    11    2097152    6    9    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    5.4497e-02    5.3220e-05    76.96    0.34    0.25    0.75    4096    4.0017e-02    7.8158e-05    104.81    0.23    0.17    0.51    8192    3.6407e-02    1.4222e-04    115.21    0.13    0.15    0.18    16384    3.0576e-02    2.3888e-04    137.18    0.09    0.10    0.12    32768    2.8190e-02    4.4046e-04    148.79    0.04    0.05    0.07    65536    2.1501e-02    6.7191e-04    195.07    0.04    0.04    0.06    131072    1.8234e-02    1.1396e-03    230.02    0.02    0.02    0.03    262144    1.6551e-02    2.0689e-03    253.42    0.01    0.01    0.02    524288    1.5632e-02    3.9081e-03    268.31    0.01    0.01    0.01    1048576    1.5276e-02    7.6382e-03    274.56    0.01    0.01    0.04    2097152    1.5150e-02    1.5150e-02    276.85    0.01    0.01    0.03

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    1    2    6    3    4096    0    1    2    6    3    8192    4    5    0    10    1    16384    4    5    0    10    2    32768    4    5    10    0    2    65536    4    5    1    0    10    131072    5    4    10    2    6    262144    4    10    5    6    0    524288    5    2    0    4    8    1048576    5    4    3    2    10    2097152    6    3    4    5    9         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    1    6    4096    1    1    7    8192    1    2    11    16384    1    2    11    32768    2    7    11    65536    1    8    11    131072    4    11    11    262144    8    11    11    524288    5    11    11    1048576    6    11    11    2097152    4    11    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv. with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    5.7773e-02    5.6419e-05    72.60    0.31    0.17    0.79    4096    4.3202e-02    8.4379e-05    97.09    0.21    0.11    0.53    8192    3.6971e-02    1.4442e-04    113.45    0.18    0.21    0.32    16384    3.2279e-02    2.5218e-04    129.94    0.10    0.12    0.15    32768    2.9846e-02    4.6634e-04    140.53    0.06    0.07    0.12    65536    2.3555e-02    7.3609e-04    178.06    0.03    0.04    0.06    131072    1.9506e-02    1.2192e-03    215.02    0.03    0.04    0.05    262144    1.7354e-02    2.1693e-03    241.68    0.02    0.02    0.05    524288    1.6229e-02    4.0573e-03    258.44    0.02    0.02    0.06    1048576    1.5547e-02    7.7734e-03    269.79    0.02    0.01    0.05    2097152    1.4994e-02    1.4994e-02    279.74    0.02    0.02    0.10

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    1    2    4    6    4096    0    2    6    1    4    8192    4    5    10    0    2    16384    4    5    10    0    6    32768    4    5    10    0    6    65536    4    5    10    6    1    131072    5    4    2    1    8    262144    4    5    10    0    2    524288    5    6    10    9    7    1048576    4    10    6    8    5    2097152    6    2    4    8    10         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    1    7    4096    1    2    7    8192    1    2    9    16384    2    2    11    32768    1    3    11    65536    2    9    11    131072    2    10    11    262144    2    10    11    524288    3    10    11    1048576    3    11    11    2097152    1    10    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    5.7364e-02    5.6019e-05    73.12    0.32    0.19    0.77    4096    4.2631e-02    8.3264e-05    98.39    0.21    0.11    0.53    8192    3.6267e-02    1.4167e-04    115.65    0.19    0.22    0.27    16384    3.1690e-02    2.4757e-04    132.36    0.11    0.13    0.17    32768    2.9768e-02    4.6512e-04    140.90    0.05    0.05    0.08    65536    2.2875e-02    7.1486e-04    183.35    0.04    0.05    0.06    131072    1.9009e-02    1.1881e-03    220.65    0.03    0.04    0.07    262144    1.6982e-02    2.1227e-03    246.99    0.03    0.03    0.08    524288    1.5891e-02    3.9727e-03    263.94    0.02    0.02    0.03    1048576    1.5297e-02    7.6483e-03    274.20    0.03    0.02    0.09    2097152    1.5029e-02    1.5029e-02    279.08    0.02    0.00    0.07

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    2    4    6    1    4096    0    2    6    1    4    8192    4    5    10    0    1    16384    4    5    10    0    2    32768    5    4    0    10    6    65536    4    5    0    10    1    131072    4    5    10    0    6    262144    4    10    9    2    8    524288    6    5    8    4    9    1048576    2    0    7    4    9    2097152    6    8    4    1    3         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    1    7    4096    1    1    7    8192    1    2    9    16384    1    2    11    32768    2    4    11    65536    1    7    11    131072    2    8    11    262144    1    10    11    524288    3    11    11    1048576    3    10    11    2097152    8    8    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    5.4470e-02    5.3194e-05    77.00    0.35    0.18    0.89    4096    3.9968e-02    7.8062e-05    104.94    0.24    0.13    0.61    8192    3.4677e-02    1.3546e-04    120.95    0.20    0.23    0.31    16384    2.9816e-02    2.3294e-04    140.67    0.12    0.14    0.19    32768    2.7884e-02    4.3568e-04    150.42    0.06    0.07    0.10    65536    2.1378e-02    6.6807e-04    196.20    0.04    0.05    0.07    131072    1.8076e-02    1.1298e-03    232.03    0.02    0.02    0.04    262144    1.6332e-02    2.0415e-03    256.81    0.02    0.02    0.03    524288    1.5427e-02    3.8567e-03    271.89    0.02    0.02    0.03    1048576    1.5273e-02    7.6367e-03    274.61    0.01    0.01    0.02    2097152    1.5195e-02    1.5195e-02    276.03    0.01    0.01    0.03

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    2    1    4    5    4096    0    2    1    4    6    8192    4    5    0    10    2    16384    4    5    0    10    2    32768    4    5    0    10    6    65536    4    5    0    10    6    131072    4    5    0    10    6    262144    4    2    10    0    5    524288    4    10    5    6    0    1048576    4    6    5    0    10    2097152    2    5    1    7    4         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    1    7    4096    1    1    7    8192    1    2    9    16384    1    2    11    32768    1    3    11    65536    2    6    11    131072    2    11    11    262144    1    11    11    524288    4    11    11    1048576    5    11    11    2097152    5    11    11

DISCUSSION

• The SP3 Winterhawk I processing node consists of two processors. MPI between processors within a node uses a shared memory implementation for communication, in contrast to communication between nodes which uses a network interface card and an external switch.

---

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:14:19 EDT.
86790 accesses since 1/2/96.