Performance Studies using PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 2MB message using MPI within a node)

(performance measured per processor when all processors in node communicating)

ordered simple swap

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 282.92 43.30 17.5% 10 iter. 280.60 42.66 23.0%

ordered swap using nonblocking send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 281.93 42.88 16.8% 10 iter. 280.13 42.68 21.7% 1 iter. w/overlap 282.37 43.40 19.1% 10 iter. w/overlap 282.38 43.75 20.6%

ordered swap using nonblocking receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 279.73 43.91 15.1% 10 iter. 281.02 43.95 20.9% 1 iter. w/overlap 281.70 44.60 18.1% 10 iter. w/overlap 279.27 45.81 21.2%

ordered swap using nonblocking send and receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 278.16 43.87 15.7% 10 iter. 281.69 43.97 19.8% 1 iter. w/overlap 262.04 44.85 20.2% 10 iter. w/overlap 280.96 46.25 15.7%

ordered swap using ready send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 278.71 54.79 14.9% 10 iter. 280.26 54.41 19.1% 1 iter. w/overlap 284.56 43.98 15.5% 10 iter. w/overlap 279.71 46.01 21.6%

ordered swap using nonblocking ready send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 283.33 54.74 13.4% 10 iter. 281.23 54.78 18.1% 1 iter. w/overlap 282.63 44.78 14.9% 10 iter. w/overlap 281.74 47.15 17.2%

synchronous

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 280.39 54.48 17.8% 10 iter. 280.76 53.90 22.6%

ordered swap using nonblocking sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 277.60 47.52 22.6% 10 iter. 279.86 47.18 27.6% 1 iter. w/overlap 263.24 47.34 25.7% 10 iter. w/overlap 281.31 47.30 25.1%

ordered swap using nonblocking receive with sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 286.70 47.18 17.0% 10 iter. 280.55 47.42 24.9% 1 iter. w/overlap 283.60 47.08 18.1% 10 iter. w/overlap 282.07 50.19 25.9%

ordered swap using nonblocking sync. send and receive

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 282.16 46.69 17.1% 10 iter. 281.61 46.78 22.7% 1 iter. w/overlap 281.85 47.62 18.9% 10 iter. w/overlap 281.67 50.27 22.0%

ordered simple swap using sync. send

Data Statistics unidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 284.44 47.34 21.0% 10 iter. 281.20 47.05 27.2%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    9.6818e-02    9.4549e-05    43.32    0.10    0.07    0.24    4096    5.2694e-02    1.0292e-04    79.60    0.08    0.04    0.22    8192    3.1479e-02    1.2297e-04    133.24    0.07    0.03    0.20    16384    2.3619e-02    1.8452e-04    177.58    0.05    0.04    0.11    32768    2.1592e-02    3.3737e-04    194.25    0.04    0.04    0.07    65536    1.9729e-02    6.1652e-04    212.60    0.03    0.02    0.07    131072    1.6955e-02    1.0597e-03    247.38    0.02    0.02    0.03    262144    1.5674e-02    1.9593e-03    267.59    0.02    0.02    0.04    524288    1.5210e-02    3.8026e-03    275.76    0.01    0.00    0.04    1048576    1.4932e-02    7.4659e-03    280.90    0.02    0.01    0.04    2097152    1.4630e-02    1.4630e-02    286.70    0.02    0.02    0.04

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    1    0    2    3    7    4096    0    1    7    2    3    8192    0    1    7    10    3    16384    2    0    10    1    3    32768    0    3    7    2    1    65536    1    0    2    10    6    131072    0    2    9    10    5    262144    1    6    4    0    2    524288    1    2    0    6    5    1048576    5    2    8    10    6    2097152    8    10    5    0    9         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    2    4    11    4096    2    6    11    8192    2    6    11    16384    2    7    11    32768    1    7    11    65536    4    9    11    131072    4    11    11    262144    2    11    11    524288    9    11    11    1048576    4    11    11    2097152    2    11    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    9.5098e-02    9.2869e-05    44.11    0.10    0.07    0.25    4096    5.1395e-02    1.0038e-04    81.61    0.08    0.04    0.23    8192    2.9910e-02    1.1683e-04    140.23    0.08    0.04    0.22    16384    2.1903e-02    1.7112e-04    191.50    0.05    0.03    0.12    32768    2.0671e-02    3.2298e-04    202.91    0.02    0.02    0.06    65536    1.8211e-02    5.6908e-04    230.32    0.02    0.02    0.04    131072    1.6292e-02    1.0182e-03    257.45    0.01    0.01    0.02    262144    1.5609e-02    1.9511e-03    268.71    0.01    0.01    0.02    524288    1.4990e-02    3.7474e-03    279.81    0.01    0.01    0.03    1048576    1.4890e-02    7.4449e-03    281.69    0.01    0.01    0.01    2097152    1.4896e-02    1.4896e-02    281.58    0.00    0.00    0.01

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    1    0    2    3    7    4096    1    0    2    7    3    8192    0    1    10    7    2    16384    0    2    1    3    10    32768    0    1    3    7    2    65536    0    3    7    1    9    131072    10    0    1    7    6    262144    2    6    10    0    3    524288    10    2    6    0    3    1048576    3    9    5    2    1    2097152    3    10    5    9    6         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    2    4    10    4096    2    6    11    8192    1    7    11    16384    1    8    11    32768    4    10    11    65536    4    11    11    131072    8    11    11    262144    7    11    11    524288    8    11    11    1048576    8    11    11    2097152    10    11    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    9.6152e-02    9.3898e-05    43.62    0.07    0.05    0.24    4096    5.1706e-02    1.0099e-04    81.12    0.07    0.06    0.22    8192    3.1130e-02    1.2160e-04    134.74    0.05    0.04    0.16    16384    2.4097e-02    1.8826e-04    174.06    0.04    0.04    0.07    32768    2.1847e-02    3.4136e-04    191.98    0.03    0.04    0.06    65536    1.9479e-02    6.0872e-04    215.32    0.06    0.03    0.18    131072    1.6928e-02    1.0580e-03    247.78    0.02    0.02    0.05    262144    1.5795e-02    1.9744e-03    265.55    0.02    0.01    0.08    524288    1.5166e-02    3.7915e-03    276.56    0.04    0.01    0.19    1048576    1.4881e-02    7.4406e-03    281.85    0.02    0.01    0.08    2097152    1.4717e-02    1.4717e-02    285.00    0.03    0.01    0.15

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    1    0    4    3    5    4096    1    0    7    3    5    8192    1    0    2    7    4    16384    10    0    2    8    4    32768    2    0    6    7    10    65536    2    10    6    0    4    131072    2    4    0    10    6    262144    2    0    10    6    8    524288    1    9    8    2    6    1048576    9    8    1    10    4    2097152    10    4    8    5    6         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    6    11    4096    1    4    11    8192    2    7    11    16384    3    7    11    32768    2    9    11    65536    1    9    11    131072    3    11    11    262144    3    9    11    524288    5    9    11    1048576    4    9    11    2097152    6    9    11

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    9.6437e-02    9.4177e-05    43.49    0.08    0.06    0.23    4096    5.2384e-02    1.0231e-04    80.07    0.07    0.05    0.19    8192    3.0287e-02    1.1831e-04    138.49    0.06    0.05    0.16    16384    2.1807e-02    1.7037e-04    192.34    0.06    0.06    0.10    32768    2.1016e-02    3.2837e-04    199.58    0.02    0.02    0.05    65536    1.8248e-02    5.7025e-04    229.85    0.02    0.02    0.04    131072    1.6202e-02    1.0126e-03    258.87    0.02    0.01    0.04    262144    1.5524e-02    1.9405e-03    270.18    0.02    0.01    0.04    524288    1.4993e-02    3.7482e-03    279.76    0.01    0.01    0.01    1048576    1.4883e-02    7.4415e-03    281.82    0.02    0.03    0.04    2097152    1.4854e-02    1.4854e-02    282.38    0.01    0.01    0.02

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    0    1    10    2    4    4096    0    1    10    7    4    8192    0    10    1    7    4    16384    0    10    2    4    8    32768    1    7    0    3    9    65536    0    2    4    7    8    131072    0    6    8    10    2    262144    0    2    10    6    4    524288    0    2    10    8    6    1048576    1    5    9    7    3    2097152    1    8    0    5    3         Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    3    11    4096    2    5    11    8192    1    6    11    16384    1    4    11    32768    3    10    11    65536    2    11    11    131072    5    11    11    262144    6    11    11    524288    7    11    11    1048576    4    11    11    2097152    9    11    11

DISCUSSION

• The AlphaServer SC processing node consists of four processors. In these tests, we examine MPI communication performance between processors in a node when all processors in the node are communicating. The performance is reported for a single processor pair (logical processors 0 and 1), representing the latency and bandwdith that would typically appear in a highly synchronous communication-intensive operation, such as a collective communication command.

---

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:26 EDT.
86205 accesses since 1/2/96.