PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 2MB message using MPI within a node)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 614.68 23.72 11.6%
1 iter. 724.50 25.02 15.9%
10 iter. 777.45 25.61 19.7%
cache inv. w/overlap 615.25 25.35 14.8%
1 iter. w/overlap 721.02 25.38 16.5%
10 iter. w/overlap 754.19 27.53 24.8%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 616.34 25.87 26.4%
1 iter. 721.29 27.93 38.8%
10 iter. 756.44 28.67 42.8%
cache inv. w/overlap 616.66 19.93 7.3%
1 iter. w/overlap 728.23 20.01 14.1%
10 iter. w/overlap 749.53 20.01 10.5%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 615.04 26.36 27.8%
1 iter. 720.15 26.94 29.9%
10 iter. 750.46 26.94 29.1%
cache inv. w/overlap 615.92 18.19 3.7%
1 iter. w/overlap 706.54 19.24 8.0%
10 iter. w/overlap 759.17 19.96 12.8%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 615.58 31.80 4.4%
1 iter. 696.36 32.90 3.5%
10 iter. 728.46 31.83 4.9%
cache inv. w/overlap 617.01 20.03 8.5%
1 iter. w/overlap 701.20 20.06 11.7%
10 iter. w/overlap 757.75 19.90 9.9%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 613.33 33.14 9.9%
1 iter. 721.66 34.16 9.3%
10 iter. 723.77 34.90 10.6%
cache inv. w/overlap 616.99 19.07 4.4%
1 iter. w/overlap 722.56 19.99 13.7%
10 iter. w/overlap 756.89 19.72 9.9%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 615.24 25.86 27.4%
1 iter. 715.43 27.48 36.0%
10 iter. 760.29 28.20 39.2%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 616.34 30.70 20.0%
1 iter. 720.08 32.93 25.6%
10 iter. 771.15 33.14 31.5%
cache inv. w/overlap 615.99 35.81 28.7%
1 iter. w/overlap 704.45 35.58 29.3%
10 iter. w/overlap 767.40 33.65 26.9%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 614.35 25.03 23.8%
1 iter. 715.02 25.22 22.5%
10 iter. 750.50 25.28 25.4%
cache inv. w/overlap 618.39 26.84 27.0%
1 iter. w/overlap 725.91 25.78 21.8%
10 iter. w/overlap 747.34 27.77 32.2%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 616.18 22.67 11.7%
1 iter. 712.28 24.06 19.0%
10 iter. 772.31 24.33 19.5%
cache inv. w/overlap 618.28 19.35 2.6%
1 iter. w/overlap 715.75 19.90 5.0%
10 iter. w/overlap 755.49 24.25 23.9%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.8624e-02   2.7953e-05   146.53   0.13   0.03   0.43 
  4096   1.5742e-02   3.0747e-05   266.43   0.18   0.08   0.53 
  8192   1.0999e-02   4.2963e-05   381.35   0.09   0.03   0.33 
  16384   9.1170e-03   7.1227e-05   460.05   0.05   0.01   0.20 
  32768   8.0452e-03   1.2571e-04   521.34   0.03   0.01   0.12 
  65536   7.4788e-03   2.3371e-04   560.83   0.03   0.00   0.09 
  131072   7.1764e-03   4.4853e-04   584.46   0.01   0.01   0.03 
  262144   7.0478e-03   8.8097e-04   595.12   0.05   0.01   0.14 
  524288   6.8664e-03   1.7166e-03   610.84   0.01   0.01   0.01 
  1048576   6.8900e-03   3.4450e-03   608.75   0.01   0.00   0.01 
  2097152   6.8408e-03   6.8408e-03   613.13   0.02   0.00   0.15 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   9   8   6   2   3 
  4096   6   2   8   3   9 
  8192   8   3   6   2   9 
  16384   6   3   9   2   8 
  32768   2   9   3   7   8 
  65536   7   6   3   9   1 
  131072   3   7   6   9   2 
  262144   3   6   1   9   4 
  524288   3   9   8   6   2 
  1048576   2   3   6   8   9 
  2097152   6   1   9   3   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   6   6 
  4096    3   4   6 
  8192    4   5   7 
  16384    4   7   9 
  32768    5   7   9 
  65536    5   6   9 
  131072    5   9   9 
  262144    3   6   9 
  524288    6   9   9 
  1048576    7   9   9 
  2097152    7   8   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.7627e-02   2.6979e-05   151.82   0.16   0.04   0.46 
  4096   1.4494e-02   2.8309e-05   289.38   0.20   0.06   0.59 
  8192   1.0110e-02   3.9492e-05   414.87   0.11   0.02   0.38 
  16384   8.2020e-03   6.4078e-05   511.38   0.08   0.02   0.28 
  32768   7.2540e-03   1.1334e-04   578.21   0.04   0.02   0.12 
  65536   6.5478e-03   2.0462e-04   640.57   0.02   0.00   0.07 
  131072   6.1968e-03   3.8730e-04   676.85   0.02   0.01   0.05 
  262144   6.0670e-03   7.5838e-04   691.33   0.02   0.01   0.06 
  524288   5.8798e-03   1.4700e-03   713.34   0.04   0.03   0.09 
  1048576   5.8626e-03   2.9313e-03   715.43   0.04   0.03   0.11 
  2097152   5.7944e-03   5.7944e-03   723.85   0.03   0.01   0.08 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   9   8   6   2   1 
  4096   2   6   3   9   8 
  8192   3   8   2   6   9 
  16384   6   3   2   9   8 
  32768   3   9   6   8   7 
  65536   9   1   6   3   7 
  131072   7   1   9   6   3 
  262144   1   6   3   9   7 
  524288   7   9   1   6   3 
  1048576   6   3   9   7   1 
  2097152   4   6   9   5   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   6   6 
  4096    1   3   6 
  8192    4   5   7 
  16384    3   5   8 
  32768    3   7   9 
  65536    7   7   9 
  131072    5   9   9 
  262144    5   8   9 
  524288    1   6   9 
  1048576    3   6   9 
  2097152    4   7   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.7431e-02   2.6788e-05   152.90   0.16   0.05   0.46 
  4096   1.4161e-02   2.7659e-05   296.18   0.20   0.07   0.60 
  8192   9.6194e-03   3.7576e-05   436.03   0.11   0.02   0.38 
  16384   7.6926e-03   6.0099e-05   545.24   0.07   0.02   0.25 
  32768   6.9475e-03   1.0855e-04   603.71   0.04   0.02   0.11 
  65536   6.1757e-03   1.9299e-04   679.17   0.03   0.02   0.08 
  131072   5.8680e-03   3.6675e-04   714.77   0.02   0.02   0.05 
  262144   5.7339e-03   7.1674e-04   731.49   0.01   0.01   0.05 
  524288   5.5841e-03   1.3960e-03   751.11   0.02   0.02   0.05 
  1048576   5.3950e-03   2.6975e-03   777.45   0.03   0.03   0.08 
  2097152   5.6428e-03   5.6428e-03   743.31   0.02   0.02   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   9   8   1   6   2 
  4096   2   6   9   8   3 
  8192   8   3   2   9   6 
  16384   6   3   9   2   8 
  32768   7   8   9   2   3 
  65536   9   3   6   1   7 
  131072   2   8   7   1   6 
  262144   6   1   9   3   7 
  524288   2   8   7   6   1 
  1048576   1   9   7   6   2 
  2097152   6   3   9   2   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   6 
  4096    1   2   6 
  8192    2   5   7 
  16384    3   6   8 
  32768    3   7   9 
  65536    3   7   9 
  131072    3   9   9 
  262144    4   9   9 
  524288    2   8   9 
  1048576    3   7   9 
  2097152    1   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.5354e-02   2.4760e-05   165.43   0.14   0.04   0.57 
  4096   1.5801e-02   3.0862e-05   265.44   0.07   0.02   0.36 
  8192   1.1152e-02   4.3561e-05   376.12   0.04   0.03   0.11 
  16384   9.1760e-03   7.1688e-05   457.10   0.01   0.01   0.02 
  32768   8.0768e-03   1.2620e-04   519.30   0.01   0.00   0.01 
  65536   7.3958e-03   2.3112e-04   567.12   0.01   0.01   0.03 
  131072   6.9972e-03   4.3733e-04   599.43   0.03   0.01   0.10 
  262144   7.0300e-03   8.7875e-04   596.63   0.02   0.01   0.06 
  524288   6.8398e-03   1.7100e-03   613.22   0.04   0.00   0.12 
  1048576   6.8962e-03   3.4481e-03   608.21   0.00   0.00   0.01 
  2097152   6.8092e-03   6.8092e-03   615.98   0.02   0.00   0.15 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   5   2   4   9 
  4096   4   2   5   3   8 
  8192   8   5   4   2   6 
  16384   4   6   2   3   5 
  32768   6   2   4   3   5 
  65536   5   3   2   9   8 
  131072   2   3   9   8   6 
  262144   5   2   9   6   3 
  524288   2   8   6   3   9 
  1048576   8   1   3   2   5 
  2097152   4   7   6   2   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   5   8 
  4096    3   6   8 
  8192    2   6   9 
  16384    5   9   9 
  32768    7   9   9 
  65536    5   9   9 
  131072    5   6   9 
  262144    5   7   9 
  524288    6   6   9 
  1048576    8   9   9 
  2097152    7   8   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.4465e-02   2.3891e-05   171.44   0.13   0.04   0.58 
  4096   1.4430e-02   2.8184e-05   290.67   0.08   0.03   0.41 
  8192   1.0193e-02   3.9817e-05   411.48   0.04   0.01   0.14 
  16384   8.2298e-03   6.4295e-05   509.65   0.03   0.01   0.08 
  32768   7.2570e-03   1.1339e-04   577.97   0.01   0.01   0.04 
  65536   6.5404e-03   2.0439e-04   641.29   0.00   0.00   0.01 
  131072   6.1940e-03   3.8712e-04   677.16   0.01   0.01   0.02 
  262144   6.0782e-03   7.5977e-04   690.06   0.01   0.01   0.03 
  524288   5.9880e-03   1.4970e-03   700.45   0.05   0.01   0.14 
  1048576   5.7596e-03   2.8798e-03   728.23   0.03   0.03   0.04 
  2097152   5.6796e-03   5.6796e-03   738.49   0.06   0.05   0.11 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   2   4   5   9 
  4096   2   6   4   3   5 
  8192   8   6   3   2   5 
  16384   2   6   8   3   5 
  32768   2   4   3   5   9 
  65536   9   5   1   2   3 
  131072   6   4   1   9   3 
  262144   7   4   1   9   3 
  524288   7   1   3   4   6 
  1048576   2   8   5   9   3 
  2097152   2   5   4   6   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   5   8 
  4096    3   5   8 
  8192    4   7   9 
  16384    3   6   9 
  32768    6   9   9 
  65536    9   9   9 
  131072    6   9   9 
  262144    6   9   9 
  524288    5   6   9 
  1048576    3   9   9 
  2097152    1   4   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.4175e-02   2.3609e-05   173.50   0.16   0.11   0.56 
  4096   1.3954e-02   2.7254e-05   300.58   0.10   0.04   0.46 
  8192   9.6209e-03   3.7582e-05   435.96   0.04   0.03   0.15 
  16384   7.7418e-03   6.0483e-05   541.77   0.02   0.01   0.05 
  32768   6.9098e-03   1.0797e-04   607.01   0.02   0.01   0.06 
  65536   6.1752e-03   1.9298e-04   679.22   0.02   0.02   0.02 
  131072   5.8740e-03   3.6712e-04   714.05   0.01   0.01   0.02 
  262144   5.7405e-03   7.1756e-04   730.65   0.01   0.01   0.02 
  524288   5.5415e-03   1.3854e-03   756.89   0.02   0.02   0.03 
  1048576   5.4656e-03   2.7328e-03   767.40   0.02   0.02   0.04 
  2097152   5.4686e-03   5.4686e-03   766.97   0.04   0.04   0.07 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   5   4   2   9 
  4096   3   5   4   2   9 
  8192   8   3   6   4   5 
  16384   6   3   9   8   4 
  32768   2   4   5   8   7 
  65536   3   9   6   4   1 
  131072   5   8   2   7   4 
  262144   1   4   6   3   9 
  524288   5   9   2   4   8 
  1048576   7   4   9   1   3 
  2097152   5   1   3   6   4 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   4   7 
  4096    1   5   8 
  8192    1   7   9 
  16384    4   8   9 
  32768    3   8   9 
  65536    3   9   9 
  131072    4   9   9 
  262144    6   9   9 
  524288    3   9   9 
  1048576    1   9   9 
  2097152    1   7   9 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:14 EDT.
86590 accesses since 1/2/96.