PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 2MB message using MPI within a node)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 604.91 13.09 19.9%
1 iter. 746.08 13.71 20.1%
10 iter. 775.53 13.98 16.8%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 598.96 13.92 22.0%
1 iter. 741.31 14.22 21.1%
10 iter. 763.71 14.18 19.0%
cache inv. w/overlap 605.29 13.73 24.1%
1 iter. w/overlap 735.04 13.39 24.7%
10 iter. w/overlap 759.33 15.18 19.6%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 607.18 15.26 19.6%
1 iter. 746.16 15.19 19.8%
10 iter. 765.86 15.10 17.8%
cache inv. w/overlap 599.60 15.22 19.2%
1 iter. w/overlap 742.56 15.33 19.9%
10 iter. w/overlap 765.66 16.09 16.8%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 598.62 14.43 20.0%
1 iter. 743.59 15.31 20.3%
10 iter. 775.01 15.51 17.0%
cache inv. w/overlap 603.24 15.12 22.7%
1 iter. w/overlap 744.46 14.95 23.9%
10 iter. w/overlap 773.63 17.97 16.7%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 602.25 19.42 20.2%
1 iter. 742.59 19.50 17.4%
10 iter. 760.79 19.61 14.9%
cache inv. w/overlap 610.47 15.57 19.9%
1 iter. w/overlap 745.12 15.08 20.4%
10 iter. w/overlap 762.58 16.13 16.0%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 600.90 19.28 18.2%
1 iter. 741.38 19.93 18.0%
10 iter. 764.93 19.91 16.3%
cache inv. w/overlap 604.47 14.91 23.3%
1 iter. w/overlap 746.00 14.77 24.9%
10 iter. w/overlap 766.70 18.13 17.8%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 605.57 17.15 17.8%
1 iter. 742.04 18.27 16.2%
10 iter. 773.57 18.68 14.3%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 594.41 14.13 21.7%
1 iter. 742.01 14.11 22.0%
10 iter. 762.04 14.22 19.6%
cache inv. w/overlap 605.13 14.18 24.0%
1 iter. w/overlap 742.20 13.91 25.2%
10 iter. w/overlap 758.71 15.26 20.0%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 602.99 15.16 20.1%
1 iter. 746.66 15.33 20.5%
10 iter. 768.34 15.14 19.0%
cache inv. w/overlap 607.98 15.61 20.2%
1 iter. w/overlap 746.53 15.24 21.4%
10 iter. w/overlap 767.54 16.41 17.2%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 604.47 14.55 21.0%
1 iter. 744.44 15.22 21.3%
10 iter. 773.39 15.43 18.0%
cache inv. w/overlap 597.80 15.53 22.2%
1 iter. w/overlap 746.29 15.29 24.4%
10 iter. w/overlap 772.65 18.17 16.6%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 596.70 13.82 20.8%
1 iter. 741.20 14.16 20.4%
10 iter. 765.84 14.06 18.4%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.4279e-02   3.3476e-05   122.36   0.13   0.09   0.36 
  4096   2.0610e-02   4.0254e-05   203.51   0.11   0.06   0.30 
  8192   1.3739e-02   5.3668e-05   305.28   0.10   0.09   0.24 
  16384   1.1889e-02   9.2880e-05   352.80   0.06   0.05   0.12 
  32768   1.0750e-02   1.6796e-04   390.18   0.03   0.03   0.07 
  65536   9.4844e-03   2.9639e-04   442.23   0.04   0.02   0.08 
  131072   8.0922e-03   5.0576e-04   518.31   0.01   0.01   0.03 
  262144   7.5342e-03   9.4177e-04   556.70   0.05   0.01   0.13 
  524288   7.1748e-03   1.7937e-03   584.59   0.01   0.01   0.02 
  1048576   7.0822e-03   3.5411e-03   592.23   0.01   0.01   0.01 
  2097152   6.9582e-03   6.9582e-03   602.79   0.02   0.01   0.14 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   10   1   7   2 
  4096   10   0   1   7   2 
  8192   0   10   2   1   3 
  16384   0   10   2   1   3 
  32768   0   10   2   1   3 
  65536   0   2   8   9   6 
  131072   0   10   2   6   8 
  262144   0   2   6   8   9 
  524288   0   6   8   3   2 
  1048576   3   8   2   6   0 
  2097152   3   5   10   0   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   9 
  4096    1   4   9 
  8192    1   2   11 
  16384    1   4   11 
  32768    1   9   11 
  65536    1   7   11 
  131072    2   11   11 
  262144    6   7   11 
  524288    10   11   11 
  1048576    9   11   11 
  2097152    5   10   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.2640e-02   3.1875e-05   128.50   0.15   0.10   0.42 
  4096   1.8603e-02   3.6334e-05   225.46   0.13   0.09   0.39 
  8192   1.2612e-02   4.9266e-05   332.56   0.09   0.07   0.27 
  16384   1.0485e-02   8.1914e-05   400.03   0.07   0.05   0.14 
  32768   9.2270e-03   1.4417e-04   454.57   0.04   0.03   0.08 
  65536   7.9504e-03   2.4845e-04   527.56   0.02   0.02   0.06 
  131072   6.8030e-03   4.2519e-04   616.54   0.02   0.02   0.04 
  262144   6.2010e-03   7.7512e-04   676.39   0.03   0.01   0.08 
  524288   5.9088e-03   1.4772e-03   709.84   0.02   0.00   0.06 
  1048576   5.7194e-03   2.8597e-03   733.35   0.05   0.01   0.14 
  2097152   5.6288e-03   5.6288e-03   745.15   0.01   0.00   0.06 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   10   1   7   2 
  4096   0   10   1   7   2 
  8192   0   10   2   1   8 
  16384   10   2   1   8   7 
  32768   0   10   2   1   8 
  65536   0   10   2   1   6 
  131072   0   2   3   8   6 
  262144   0   3   6   2   8 
  524288   0   3   6   2   8 
  1048576   6   2   3   8   9 
  2097152   10   3   0   2   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   8 
  4096    1   3   9 
  8192    2   4   10 
  16384    1   6   11 
  32768    1   9   11 
  65536    1   10   11 
  131072    2   11   11 
  262144    5   7   11 
  524288    7   10   11 
  1048576    6   7   11 
  2097152    8   10   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.2187e-02   3.1433e-05   130.31   0.15   0.10   0.42 
  4096   1.7874e-02   3.4910e-05   234.66   0.15   0.11   0.42 
  8192   1.1446e-02   4.4712e-05   366.44   0.14   0.11   0.34 
  16384   9.7092e-03   7.5853e-05   431.99   0.07   0.06   0.16 
  32768   8.6465e-03   1.3510e-04   485.09   0.05   0.04   0.11 
  65536   7.4973e-03   2.3429e-04   559.44   0.02   0.03   0.05 
  131072   6.3014e-03   3.9383e-04   665.62   0.02   0.02   0.05 
  262144   5.7619e-03   7.2024e-04   727.93   0.02   0.02   0.04 
  524288   5.4767e-03   1.3692e-03   765.84   0.02   0.03   0.04 
  1048576   5.4083e-03   2.7042e-03   775.53   0.01   0.01   0.03 
  2097152   5.5422e-03   5.5422e-03   756.79   0.02   0.02   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   10   1   7   2 
  4096   0   10   1   7   2 
  8192   0   10   2   3   1 
  16384   0   10   2   8   1 
  32768   0   3   10   6   2 
  65536   2   8   0   10   3 
  131072   10   0   1   7   3 
  262144   2   8   0   5   3 
  524288   10   1   7   4   0 
  1048576   0   3   6   9   8 
  2097152   3   2   4   5   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   8 
  4096    1   3   9 
  8192    1   2   9 
  16384    1   4   11 
  32768    1   7   11 
  65536    3   11   11 
  131072    4   11   11 
  262144    2   11   11 
  524288    4   11   11 
  1048576    5   11   11 
  2097152    3   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.5037e-02   3.4215e-05   119.71   0.09   0.09   0.22 
  4096   2.0344e-02   3.9734e-05   206.17   0.11   0.12   0.19 
  8192   1.3751e-02   5.3716e-05   305.01   0.14   0.14   0.25 
  16384   1.1875e-02   9.2773e-05   353.20   0.08   0.06   0.13 
  32768   1.0712e-02   1.6737e-04   391.56   0.05   0.04   0.08 
  65536   9.5458e-03   2.9831e-04   439.39   0.02   0.02   0.05 
  131072   8.1516e-03   5.0948e-04   514.54   0.02   0.02   0.06 
  262144   7.5446e-03   9.4308e-04   555.93   0.01   0.01   0.03 
  524288   7.1676e-03   1.7919e-03   585.18   0.04   0.01   0.11 
  1048576   7.0782e-03   3.5391e-03   592.57   0.01   0.01   0.01 
  2097152   6.9608e-03   6.9608e-03   602.56   0.03   0.01   0.14 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   10   1   7   2 
  4096   0   10   4   2   1 
  8192   0   10   4   2   6 
  16384   0   10   2   4   8 
  32768   0   10   4   2   6 
  65536   10   0   4   2   8 
  131072   10   4   2   8   1 
  262144   2   4   10   8   1 
  524288   4   2   10   8   1 
  1048576   2   10   8   4   1 
  2097152   4   5   2   7   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   3   11 
  4096    1   2   11 
  8192    1   2   11 
  16384    1   4   11 
  32768    1   6   11 
  65536    3   11   11 
  131072    4   9   11 
  262144    4   11   11 
  524288    7   7   11 
  1048576    8   11   11 
  2097152    6   9   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.2294e-02   3.1538e-05   129.88   0.12   0.11   0.28 
  4096   1.8392e-02   3.5921e-05   228.05   0.13   0.13   0.22 
  8192   1.2645e-02   4.9395e-05   331.69   0.11   0.14   0.23 
  16384   1.0483e-02   8.1900e-05   400.10   0.08   0.09   0.18 
  32768   9.2480e-03   1.4450e-04   453.54   0.05   0.04   0.08 
  65536   7.9492e-03   2.4841e-04   527.64   0.03   0.02   0.05 
  131072   6.7918e-03   4.2449e-04   617.55   0.03   0.03   0.06 
  262144   6.2402e-03   7.8002e-04   672.14   0.03   0.01   0.07 
  524288   5.9014e-03   1.4754e-03   710.73   0.04   0.01   0.12 
  1048576   5.7314e-03   2.8657e-03   731.81   0.03   0.00   0.10 
  2097152   5.6108e-03   5.6108e-03   747.54   0.02   0.01   0.16 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   10   1   7   4 
  4096   0   10   2   4   1 
  8192   10   0   2   4   8 
  16384   10   4   2   0   8 
  32768   0   10   2   4   6 
  65536   0   10   4   2   6 
  131072   0   2   6   8   3 
  262144   8   6   0   2   3 
  524288   0   2   9   8   6 
  1048576   6   8   2   0   9 
  2097152   0   4   10   3   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   10 
  4096    1   2   11 
  8192    2   4   11 
  16384    1   5   11 
  32768    1   6   11 
  65536    2   9   11 
  131072    1   9   11 
  262144    5   7   11 
  524288    6   7   11 
  1048576    7   8   11 
  2097152    8   10   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   3.3524e-02   3.2738e-05   125.11   0.13   0.12   0.25 
  4096   1.8568e-02   3.6265e-05   225.89   0.14   0.13   0.26 
  8192   1.1553e-02   4.5131e-05   363.03   0.14   0.18   0.22 
  16384   9.7262e-03   7.5986e-05   431.24   0.07   0.09   0.13 
  32768   8.6612e-03   1.3533e-04   484.26   0.05   0.06   0.09 
  65536   7.5208e-03   2.3503e-04   557.69   0.03   0.03   0.05 
  131072   6.2995e-03   3.9372e-04   665.81   0.02   0.02   0.05 
  262144   5.7741e-03   7.2176e-04   726.40   0.02   0.02   0.03 
  524288   5.4930e-03   1.3732e-03   763.58   0.02   0.03   0.03 
  1048576   5.4171e-03   2.7086e-03   774.27   0.01   0.01   0.03 
  2097152   5.5374e-03   5.5374e-03   757.46   0.02   0.02   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   10   0   1   7   4 
  4096   0   10   1   7   4 
  8192   0   10   2   4   8 
  16384   0   10   2   4   8 
  32768   0   10   4   6   2 
  65536   2   8   0   10   4 
  131072   10   4   0   1   6 
  262144   8   2   0   5   6 
  524288   10   4   1   7   0 
  1048576   0   3   9   6   8 
  2097152   2   3   4   5   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   2   10 
  4096    1   2   10 
  8192    1   2   11 
  16384    1   5   11 
  32768    1   5   11 
  65536    3   11   11 
  131072    3   11   11 
  262144    4   11   11 
  524288    4   11   11 
  1048576    6   11   11 
  2097152    3   11   11 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:26 EDT.
2837 accesses since 1/2/96.