Performance Studies using PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 128KB message using SHMEM between two nodes)

unordered swap using get

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 147.09 13.73 12.7% 10 iter. 145.65 13.06 7.0% 1 iter. w/overlap 146.71 12.46 11.7% 10 iter. w/overlap 144.92 12.22 6.4%

unordered swap using put

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 132.01 10.89 98.6% 10 iter. 132.36 11.03 6.4% 1 iter. w/overlap 133.05 9.11 74.0% 10 iter. w/overlap 132.77 8.85 12.6%

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   128    1.4113e-02    1.3782e-05    18.58    0.08    0.16    0.16    256    8.5370e-03    1.6674e-05    30.71    0.04    0.09    0.09    512    5.6490e-03    2.2066e-05    46.41    29.18    58.36    58.36    1024    3.5770e-03    2.7945e-05    73.29    0.02    0.04    0.04    2048    2.6452e-03    4.1331e-05    99.10    0.01    0.02    0.02    4096    2.2234e-03    6.9481e-05    117.90    0.03    0.07    0.07    8192    1.9174e-03    1.1984e-04    136.72    0.06    0.12    0.12    16384    1.8000e-03    2.2500e-04    145.64    0.07    0.15    0.15    32768    1.7822e-03    4.4555e-04    147.09    0.08    0.15    0.15    65536    1.8722e-03    9.3610e-04    140.02    0.03    0.06    0.06    131072    2.0580e-03    2.0580e-03    127.38    0.02    0.04    0.04

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   128    2    1                256    2    1                512    1    2                1024    2    1                2048    1    2                4096    1    2                8192    1    2                16384    1    2                32768    1    2                65536    1    2                131072    1    2                     Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   128    1    1    2    256    1    1    2    512    1    1    1    1024    1    2    2    2048    1    2    2    4096    1    1    2    8192    1    1    2    16384    1    1    2    32768    1    1    2    65536    1    1    2    131072    1    2    2

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   128    1.3776e-02    1.3453e-05    19.03    0.07    0.15    0.15    256    8.1283e-03    1.5876e-05    32.25    0.06    0.12    0.12    512    5.1314e-03    2.0044e-05    51.09    0.03    0.07    0.07    1024    3.4570e-03    2.7008e-05    75.83    0.02    0.04    0.04    2048    2.6369e-03    4.1202e-05    99.41    0.02    0.04    0.04    4096    2.1782e-03    6.8068e-05    120.35    0.04    0.08    0.08    8192    1.9199e-03    1.2000e-04    136.54    0.07    0.13    0.13    16384    1.8154e-03    2.2692e-04    144.40    0.07    0.14    0.14    32768    1.7998e-03    4.4996e-04    145.65    0.06    0.12    0.12    65536    1.8866e-03    9.4329e-04    138.95    0.03    0.06    0.06    131072    1.9333e-03    1.9333e-03    135.59    0.01    0.02    0.02

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   128    2    1                256    2    1                512    2    1                1024    2    1                2048    1    2                4096    1    2                8192    1    2                16384    1    2                32768    1    2                65536    1    2                131072    1    2                     Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   128    1    1    2    256    1    1    2    512    1    1    2    1024    1    2    2    2048    1    2    2    4096    1    1    2    8192    1    1    2    16384    1    1    2    32768    1    1    2    65536    1    1    2    131072    1    2    2

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   128    1.1897e-02    1.1618e-05    22.03    0.14    0.28    0.28    256    7.2324e-03    1.4126e-05    36.25    0.11    0.22    0.22    512    5.2994e-03    2.0701e-05    49.47    1.06    2.12    2.12    1024    3.4678e-03    2.7092e-05    75.59    0.00    0.00    0.00    2048    2.5280e-03    3.9500e-05    103.70    0.03    0.07    0.07    4096    2.1214e-03    6.6294e-05    123.57    0.04    0.09    0.09    8192    1.9278e-03    1.2049e-04    135.98    0.06    0.12    0.12    16384    1.8728e-03    2.3410e-04    139.97    0.05    0.10    0.10    32768    1.7868e-03    4.4670e-04    146.71    0.05    0.10    0.10    65536    1.8904e-03    9.4520e-04    138.67    0.03    0.05    0.05    131072    2.0370e-03    2.0370e-03    128.69    0.02    0.04    0.04

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   128    2    1                256    2    1                512    1    2                1024    2    1                2048    1    2                4096    1    2                8192    1    2                16384    1    2                32768    1    2                65536    1    2                131072    1    2                     Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   128    1    1    1    256    1    1    2    512    1    1    1    1024    2    2    2    2048    1    1    2    4096    1    1    2    8192    1    1    2    16384    1    1    2    32768    1    1    2    65536    1    1    2    131072    1    2    2

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   128    1.1756e-02    1.1481e-05    22.30    0.12    0.25    0.25    256    7.2263e-03    1.4114e-05    36.28    0.08    0.16    0.16    512    4.8516e-03    1.8952e-05    54.03    0.02    0.05    0.05    1024    3.3201e-03    2.5939e-05    78.96    0.01    0.03    0.03    2048    2.5565e-03    3.9945e-05    102.54    0.02    0.04    0.04    4096    2.1251e-03    6.6408e-05    123.36    0.04    0.07    0.07    8192    1.9105e-03    1.1941e-04    137.21    0.06    0.12    0.12    16384    1.8308e-03    2.2885e-04    143.19    0.06    0.13    0.13    32768    1.8089e-03    4.5222e-04    144.92    0.05    0.10    0.10    65536    1.8841e-03    9.4203e-04    139.14    0.02    0.05    0.05    131072    1.9462e-03    1.9462e-03    134.70    0.01    0.02    0.02

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   128    2    1                256    2    1                512    2    1                1024    2    1                2048    1    2                4096    1    2                8192    1    2                16384    1    2                32768    1    2                65536    1    2                131072    1    2                     Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   128    1    1    2    256    1    1    2    512    1    2    2    1024    1    2    2    2048    1    2    2    4096    1    1    2    8192    1    1    2    16384    1    1    2    32768    1    1    2    65536    1    2    2    131072    1    2    2

DISCUSSION

• The AlphaServer SC processing node consists of four processors. In these tests, we examine SHMEM communication performance between processors in different nodes. Note that the erratic performance of the first two protocols is repeatable (in form, if not detail). The data analyzed here is the minimum timings over three experiments, where the experiments were separated by approximately 30 minutes.

---

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:54 EDT.
86733 accesses since 1/2/96.