Performance Studies using PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 2MB message using SHMEM between two nodes)

unordered swap using get

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 146.67 14.53 8.3% 10 iter. 150.98 14.71 9.4% 1 iter. w/overlap 146.80 13.40 8.4% 10 iter. w/overlap 151.38 13.62 9.9%

unordered swap using put

Data Statistics bidirectional bandwidth estimated latency model error (peak MByte/sec) (usec/msg) (max. rel. error) 1 iter. 134.32 12.78 2.1% 10 iter. 137.42 11.65 0.7% 1 iter. w/overlap 134.55 13.00 2.9% 10 iter. w/overlap 136.40 10.72 1.5%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    4.1690e-02    4.0713e-05    100.61    0.02    0.04    0.04    4096    3.4248e-02    6.6891e-05    122.47    0.04    0.08    0.08    8192    3.0781e-02    1.2024e-04    136.26    0.06    0.11    0.11    16384    2.9077e-02    2.2716e-04    144.25    0.07    0.13    0.13    32768    2.8597e-02    4.4683e-04    146.67    0.06    0.11    0.11    65536    2.9884e-02    9.3386e-04    140.35    0.03    0.06    0.06    131072    3.0447e-02    1.9030e-03    137.76    0.02    0.03    0.03    262144    3.0849e-02    3.8561e-03    135.96    0.01    0.01    0.01    524288    3.0944e-02    7.7359e-03    135.55    0.00    0.01    0.01    1048576    3.1108e-02    1.5554e-02    134.83    0.00    0.00    0.00    2097152    3.1217e-02    3.1217e-02    134.36    0.00    0.00    0.00

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    1    2                4096    1    2                8192    1    2                16384    1    2                32768    1    2                65536    1    2                131072    1    2                262144    1    2                524288    1    2                1048576    1    2                2097152    1    2                     Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    2    2    4096    1    1    2    8192    1    1    2    16384    1    1    2    32768    1    1    2    65536    1    1    2    131072    1    2    2    262144    1    2    2    524288    2    2    2    1048576    2    2    2    2097152    2    2    2

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    4.0953e-02    3.9993e-05    102.42    0.02    0.04    0.04    4096    3.3421e-02    6.5275e-05    125.50    0.05    0.09    0.09    8192    2.9906e-02    1.1682e-04    140.25    0.06    0.12    0.12    16384    2.7781e-02    2.1704e-04    150.98    0.08    0.16    0.16    32768    2.7881e-02    4.3563e-04    150.44    0.06    0.13    0.13    65536    2.9281e-02    9.1504e-04    143.24    0.03    0.06    0.06    131072    3.0008e-02    1.8755e-03    139.77    0.01    0.03    0.03    262144    3.0367e-02    3.7958e-03    138.12    0.01    0.01    0.01    524288    3.0511e-02    7.6278e-03    137.47    0.00    0.01    0.01    1048576    3.0522e-02    1.5261e-02    137.42    0.00    0.00    0.00    2097152    3.0682e-02    3.0682e-02    136.70    0.00    0.00    0.00

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    1    2                4096    1    2                8192    1    2                16384    1    2                32768    1    2                65536    1    2                131072    1    2                262144    1    2                524288    1    2                1048576    2    1                2097152    1    2                     Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    2    2    4096    1    1    2    8192    1    1    2    16384    1    1    2    32768    1    1    2    65536    1    1    2    131072    1    2    2    262144    1    2    2    524288    2    2    2    1048576    2    2    2    2097152    2    2    2

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    4.0468e-02    3.9519e-05    103.65    0.04    0.07    0.07    4096    3.3608e-02    6.5640e-05    124.80    0.05    0.09    0.09    8192    3.0201e-02    1.1797e-04    138.88    0.06    0.13    0.13    16384    2.8816e-02    2.2513e-04    145.55    0.07    0.13    0.13    32768    2.8571e-02    4.4643e-04    146.80    0.06    0.12    0.12    65536    2.9676e-02    9.2738e-04    141.34    0.03    0.06    0.06    131072    3.0484e-02    1.9053e-03    137.59    0.01    0.03    0.03    262144    3.0823e-02    3.8529e-03    136.08    0.01    0.01    0.01    524288    3.0948e-02    7.7369e-03    135.53    0.00    0.01    0.01    1048576    3.1125e-02    1.5562e-02    134.76    0.00    0.00    0.00    2097152    3.1213e-02    3.1213e-02    134.38    0.00    0.00    0.00

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    1    2                4096    1    2                8192    1    2                16384    1    2                32768    1    2                65536    1    2                131072    1    2                262144    1    2                524288    1    2                1048576    1    2                2097152    1    2                     Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    1    2    4096    1    1    2    8192    1    1    2    16384    1    1    2    32768    1    1    2    65536    1    1    2    131072    1    2    2    262144    1    2    2    524288    2    2    2    1048576    2    2    2    2097152    2    2    2

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)

Runtime Statistics Msg Size min Sec min Sec/Msg max MBytes/Sec (mean-min)/min (median-min)/min (max-min)/min   2048    3.9554e-02    3.8627e-05    106.04    0.02    0.04    0.04    4096    3.2581e-02    6.3635e-05    128.73    0.05    0.10    0.10    8192    2.9471e-02    1.1512e-04    142.32    0.06    0.13    0.13    16384    2.7707e-02    2.1646e-04    151.38    0.08    0.16    0.16    32768    2.7737e-02    4.3339e-04    151.22    0.07    0.13    0.13    65536    2.9336e-02    9.1674e-04    142.98    0.03    0.06    0.06    131072    3.0077e-02    1.8798e-03    139.45    0.01    0.03    0.03    262144    3.0377e-02    3.7971e-03    138.07    0.01    0.01    0.01    524288    3.0542e-02    7.6354e-03    137.33    0.00    0.01    0.01    1048576    3.0664e-02    1.5332e-02    136.78    0.00    0.00    0.00    2097152    3.0753e-02    3.0753e-02    136.39    0.00    0.00    0.00

Five Fastest Protocols Msg Size 1st 2nd 3rd 4th 5th   2048    1    2                4096    1    2                8192    1    2                16384    1    2                32768    1    2                65536    1    2                131072    1    2                262144    1    2                524288    1    2                1048576    1    2                2097152    1    2                     Number of Proctocols With Runtimes Within X% of Min Msg Size 1% 5% 25%   2048    1    2    2    4096    1    1    2    8192    1    1    2    16384    1    1    2    32768    1    1    2    65536    1    1    2    131072    1    2    2    262144    1    2    2    524288    2    2    2    1048576    2    2    2    2097152    2    2    2

DISCUSSION

• The AlphaServer SC processing node consists of four processors. In these tests, we examine SHMEM communication performance between processors in different nodes.

---

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:02:50 EDT.
86478 accesses since 1/2/96.