Performance Studies using COMMTEST

IBM SP3-200 SWAP Performance

(unordered swap of 2MB message using shared memory MPI with US within a node)

unordered simple swap

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 179.89 23.36 84.7% 1 iter. 196.53 23.47 34.6% 10 iter. 212.81 22.49 26.9%

unordered swap using nonblocking send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 268.32 22.99 30.3% 1 iter. 296.54 22.07 33.8% 10 iter. 305.54 22.38 31.9% cache inv. w/overlap 266.73 22.29 30.0% 1 iter. w/overlap 299.04 23.90 33.3% 10 iter. w/overlap 304.56 21.84 31.9%

unordered swap using nonblocking receive

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 270.44 19.27 32.1% 1 iter. 301.08 20.37 34.9% 10 iter. 299.92 17.29 33.0% cache inv. w/overlap 267.54 20.93 30.9% 1 iter. w/overlap 296.29 20.34 34.2% 10 iter. w/overlap 299.13 21.16 29.2%

unordered swap using nonblocking send and receive

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 268.03 23.17 32.1% 1 iter. 299.84 23.78 36.2% 10 iter. 298.45 23.46 35.0% cache inv. w/overlap 267.72 23.95 32.0% 1 iter. w/overlap 289.90 24.62 35.1% 10 iter. w/overlap 302.20 20.00 37.6%

unordered swap using ready send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 261.00 38.54 8.9% 1 iter. 303.73 37.65 19.8% 10 iter. 299.34 33.21 14.5% cache inv. w/overlap 267.19 21.81 7.5% 1 iter. w/overlap 297.90 21.85 12.1% 10 iter. w/overlap 306.28 20.64 8.5%

unordered swap using nonblocking ready send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 268.00 38.01 12.6% 1 iter. 295.33 39.65 17.3% 10 iter. 299.91 40.40 13.2% cache inv. w/overlap 268.32 25.72 9.6% 1 iter. w/overlap 296.05 24.79 11.1% 10 iter. w/overlap 303.06 21.45 13.5%

native sendrecv

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 270.79 21.12 29.5% 1 iter. 299.63 19.46 34.5% 10 iter. 299.48 15.51 33.8%

unordered swap using nonblocking sync. send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 264.70 44.63 13.2% 1 iter. 296.60 45.37 17.8% 10 iter. 300.60 44.03 15.6% cache inv. w/overlap 267.75 48.75 11.6% 1 iter. w/overlap 291.94 47.07 17.0% 10 iter. w/overlap 303.69 40.04 18.6%

unordered swap using nonblocking receive with sync. send

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 260.01 50.76 12.7% 1 iter. 291.82 50.47 15.1% 10 iter. 296.38 46.25 11.6% cache inv. w/overlap 262.80 49.33 13.5% 1 iter. w/overlap 295.89 50.19 16.2% 10 iter. w/overlap 305.16 44.57 13.8%

unordered swap using nonblocking sync. send and receive

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) cache inv. 268.63 58.46 12.4% 1 iter. 297.96 57.25 16.9% 10 iter. 295.15 57.51 11.6% cache inv. w/overlap 266.66 55.89 13.5% 1 iter. w/overlap 293.13 73.51 9.3% 10 iter. w/overlap 301.89 67.74 6.7%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv./no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    3.7978e-02    3.7088e-05    110.44    0.39    0.46    1.00    4096    2.7332e-02    5.3383e-05    153.46    0.30    0.31    0.69    8192    2.7019e-02    1.0554e-04    155.23    0.12    0.13    0.22    16384    2.2919e-02    1.7905e-04    183.01    0.07    0.07    0.19    32768    2.0350e-02    3.1797e-04    206.11    0.05    0.05    0.22    65536    1.7157e-02    5.3617e-04    244.46    0.05    0.02    0.36    131072    1.6520e-02    1.0325e-03    253.89    0.13    0.16    0.42    262144    1.5924e-02    1.9904e-03    263.40    0.89    0.03    8.66    524288    1.5704e-02    3.9259e-03    267.09    0.07    0.02    0.51    1048576    1.5489e-02    7.7447e-03    270.79    0.14    0.02    1.21    2097152    1.5509e-02    1.5509e-02    270.44    0.11    0.01    0.91

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    2    6    3    1    0    4096    6    2    3    1    0    8192    4    5    6    8    2    16384    4    5    6    2    8    32768    4    5    6    2    8    65536    7    4    9    5    6    131072    1    5    4    7    9    262144    3    9    1    2    5    524288    6    9    3    2    1    1048576    6    2    9    5    1    2097152    2    9    1    3    5         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    2    2    5    4096    1    2    5    8192    1    2    10    16384    1    3    10    32768    1    5    10    65536    2    9    9    131072    2    4    9    262144    1    8    9    524288    4    8    9    1048576    1    9    9    2097152    5    9    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    3.7278e-02    3.6404e-05    112.51    0.40    0.48    1.02    4096    2.7316e-02    5.3352e-05    153.55    0.27    0.31    0.68    8192    2.7082e-02    1.0579e-04    154.87    0.10    0.10    0.21    16384    2.2481e-02    1.7564e-04    186.57    0.07    0.07    0.21    32768    2.0212e-02    3.1582e-04    207.51    0.04    0.02    0.20    65536    1.6046e-02    5.0144e-04    261.39    0.06    0.04    0.33    131072    1.4806e-02    9.2539e-04    283.28    0.16    0.21    0.44    262144    1.4481e-02    1.8101e-03    289.65    0.07    0.02    0.51    524288    1.4284e-02    3.5709e-03    293.64    0.10    0.02    0.79    1048576    1.3988e-02    6.9941e-03    299.84    0.17    0.03    1.34    2097152    1.3809e-02    1.3809e-02    303.73    0.12    0.02    0.96

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    6    2    3    1    0    4096    6    2    3    1    0    8192    4    5    6    2    8    16384    4    5    6    2    8    32768    4    5    8    6    2    65536    4    6    5    1    8    131072    1    5    4    7    3    262144    1    4    8    6    5    524288    3    4    1    8    6    1048576    3    2    6    4    9    2097152    4    2    6    9    7         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    2    5    4096    2    3    5    8192    1    2    10    16384    1    5    10    32768    3    8    10    65536    1    8    9    131072    1    4    8    262144    3    7    9    524288    4    8    9    1048576    1    7    9    2097152    2    9    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    3.4462e-02    3.3654e-05    121.71    0.44    0.50    1.12    4096    2.6200e-02    5.1172e-05    160.09    0.26    0.32    0.66    8192    2.5453e-02    9.9428e-05    164.78    0.12    0.12    0.24    16384    2.0982e-02    1.6392e-04    199.90    0.08    0.08    0.23    32768    1.8869e-02    2.9483e-04    222.28    0.05    0.04    0.21    65536    1.5169e-02    4.7402e-04    276.51    0.05    0.02    0.30    131072    1.4310e-02    8.9437e-04    293.11    0.09    0.07    0.43    262144    1.4122e-02    1.7652e-03    297.01    0.06    0.01    0.47    524288    1.3865e-02    3.4662e-03    302.52    0.08    0.04    0.53    1048576    1.3889e-02    6.9444e-03    301.99    0.11    0.02    0.89    2097152    1.3727e-02    1.3727e-02    305.54    0.12    0.03    0.97

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    6    2    3    1    0    4096    2    3    6    1    0    8192    4    5    6    2    8    16384    4    5    6    8    2    32768    4    5    6    2    8    65536    4    5    1    2    7    131072    7    4    1    5    8    262144    4    1    2    8    3    524288    1    7    4    5    2    1048576    1    5    7    4    8    2097152    1    2    6    3    7         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    2    5    4096    1    3    5    8192    1    2    10    16384    1    5    10    32768    1    6    10    65536    1    9    9    131072    2    4    9    262144    4    8    9    524288    2    6    9    1048576    2    9    9    2097152    1    8    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv. with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    3.7830e-02    3.6943e-05    110.87    0.34    0.14    1.11    4096    2.7847e-02    5.4389e-05    150.62    0.25    0.11    0.84    8192    2.2698e-02    8.8665e-05    184.78    0.31    0.36    0.45    16384    1.9988e-02    1.5615e-04    209.84    0.21    0.23    0.37    32768    1.8467e-02    2.8854e-04    227.13    0.14    0.15    0.33    65536    1.6006e-02    5.0018e-04    262.05    0.12    0.09    0.46    131072    1.6179e-02    1.0112e-03    259.24    0.14    0.17    0.44    262144    1.6096e-02    2.0121e-03    260.57    0.07    0.04    0.51    524288    1.5805e-02    3.9512e-03    265.38    0.64    0.01    6.29    1048576    1.5717e-02    7.8587e-03    266.86    0.56    0.02    5.46    2097152    1.5599e-02    1.5599e-02    268.87    0.09    0.01    0.83

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    6    2    4    3    1    4096    2    6    4    3    5    8192    4    5    6    2    1    16384    4    5    6    2    1    32768    4    5    6    2    8    65536    4    5    7    1    2    131072    4    5    7    1    9    262144    6    5    7    8    1    524288    5    6    7    3    1    1048576    6    5    4    1    2    2097152    6    5    7    3    2         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    3    7    4096    3    3    7    8192    1    2    2    16384    1    2    7    32768    2    2    9    65536    1    2    9    131072    2    4    9    262144    3    9    9    524288    3    9    9    1048576    3    9    9    2097152    8    8    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    3.6940e-02    3.6074e-05    113.54    0.36    0.16    1.34    4096    2.6951e-02    5.2639e-05    155.62    0.25    0.14    0.81    8192    2.2385e-02    8.7441e-05    187.37    0.30    0.35    0.45    16384    1.8951e-02    1.4805e-04    221.33    0.23    0.27    0.41    32768    1.7230e-02    2.6922e-04    243.43    0.18    0.21    0.38    65536    1.5341e-02    4.7941e-04    273.40    0.10    0.09    0.40    131072    1.4485e-02    9.0530e-04    289.57    0.17    0.20    0.44    262144    1.4215e-02    1.7769e-03    295.06    0.15    0.05    1.03    524288    1.4198e-02    3.5495e-03    295.42    0.13    0.03    1.04    1048576    1.3931e-02    6.9656e-03    301.07    0.12    0.04    0.95    2097152    1.4079e-02    1.4079e-02    297.90    0.11    0.02    0.93

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    6    2    4    3    5    4096    6    2    4    3    5    8192    4    5    6    2    8    16384    4    5    6    2    8    32768    4    5    6    2    8    65536    5    4    6    1    2    131072    5    1    7    4    9    262144    5    6    1    2    7    524288    1    2    5    6    4    1048576    6    1    8    2    5    2097152    4    2    5    8    9         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    2    7    4096    1    3    7    8192    1    2    2    16384    1    2    4    32768    2    2    9    65536    2    2    9    131072    1    2    8    262144    1    5    9    524288    3    7    9    1048576    2    6    9    2097152    4    8    9

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    3.4718e-02    3.3904e-05    120.81    0.37    0.14    1.36    4096    2.6065e-02    5.0908e-05    160.92    0.25    0.12    0.81    8192    1.9675e-02    7.6855e-05    213.18    0.38    0.45    0.58    16384    1.6774e-02    1.3105e-04    250.04    0.29    0.35    0.54    32768    1.5363e-02    2.4005e-04    273.01    0.24    0.27    0.48    65536    1.3919e-02    4.3496e-04    301.35    0.12    0.10    0.43    131072    1.3979e-02    8.7371e-04    300.03    0.12    0.12    0.44    262144    1.3886e-02    1.7358e-03    302.05    0.09    0.04    0.51    524288    1.3772e-02    3.4430e-03    304.56    0.09    0.07    0.55    1048576    1.3694e-02    6.8472e-03    306.28    0.14    0.03    1.23    2097152    1.3745e-02    1.3745e-02    305.16    0.11    0.02    1.00

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    6    2    4    3    1    4096    2    6    4    1    5    8192    4    5    6    2    8    16384    4    5    2    6    8    32768    4    5    8    6    2    65536    4    5    8    7    1    131072    4    5    7    1    9    262144    1    4    2    6    7    524288    1    4    5    7    2    1048576    4    1    7    5    9    2097152    8    1    3    9    4         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    1    7    4096    1    3    7    8192    1    2    2    16384    1    2    2    32768    2    2    2    65536    1    2    9    131072    2    4    9    262144    1    7    9    524288    2    5    9    1048576    3    9    9    2097152    3    9    9

DISCUSSION

• The SP3 Winterhawk I processing node consists of two processors. MPI between processors within a node uses a shared memory implementation for communication, in contrast to communication between nodes which uses a network interface card and an external switch.

---

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:14:14 EDT.
86658 accesses since 1/2/96.