PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 128KB message using MPI within a node)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 523.87 15.95 33.3%
1 iter. 729.39 15.80 36.1%
10 iter. 718.20 15.38 37.4%
cache inv. w/overlap 518.48 16.43 32.0%
1 iter. w/overlap 715.07 15.84 34.7%
10 iter. w/overlap 722.40 14.54 44.3%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 518.69 8.65 62.8%
1 iter. 716.24 8.38 66.0%
10 iter. 719.15 8.69 64.9%
cache inv. w/overlap 527.03 8.42 51.8%
1 iter. w/overlap 733.48 8.39 51.1%
10 iter. w/overlap 722.72 9.57 50.0%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 519.92 8.68 62.5%
1 iter. 726.56 8.71 65.1%
10 iter. 718.99 8.70 64.9%
cache inv. w/overlap 532.16 8.70 48.9%
1 iter. w/overlap 729.39 8.70 49.0%
10 iter. w/overlap 725.40 9.92 49.9%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 502.77 24.20 29.4%
1 iter. 701.29 24.10 30.8%
10 iter. 692.40 24.43 29.3%
cache inv. w/overlap 513.20 8.37 52.0%
1 iter. w/overlap 728.18 8.31 51.9%
10 iter. w/overlap 722.48 9.65 49.1%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 500.47 25.13 28.2%
1 iter. 696.08 25.36 28.0%
10 iter. 691.42 25.52 27.8%
cache inv. w/overlap 527.88 8.86 48.8%
1 iter. w/overlap 722.56 8.85 48.8%
10 iter. w/overlap 715.07 10.05 49.5%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 525.97 8.36 63.3%
1 iter. 725.36 8.50 65.7%
10 iter. 723.04 8.62 65.0%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 521.99 20.73 32.0%
1 iter. 727.37 19.69 33.6%
10 iter. 717.69 19.30 33.8%
cache inv. w/overlap 519.71 20.28 38.5%
1 iter. w/overlap 720.57 20.34 36.4%
10 iter. w/overlap 719.23 11.20 62.3%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 517.05 13.37 43.1%
1 iter. 711.96 13.29 45.2%
10 iter. 715.22 13.28 44.8%
cache inv. w/overlap 523.87 14.48 42.2%
1 iter. w/overlap 725.36 13.50 45.5%
10 iter. w/overlap 724.60 16.32 40.5%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 520.13 13.05 42.6%
1 iter. 713.90 12.94 44.4%
10 iter. 720.29 12.94 44.1%
cache inv. w/overlap 529.80 11.61 39.6%
1 iter. w/overlap 724.56 10.91 42.3%
10 iter. w/overlap 732.20 15.38 35.3%

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1719e-02   1.1445e-05   22.37   0.62   0.52   1.54 
  256   7.4390e-03   1.4529e-05   35.24   0.50   0.45   1.27 
  512   6.6964e-03   2.6158e-05   39.15   0.16   0.08   0.45 
  1024   3.4236e-03   2.6747e-05   76.57   0.16   0.06   0.46 
  2048   1.8446e-03   2.8822e-05   142.11   0.14   0.03   0.44 
  4096   1.0744e-03   3.3575e-05   243.99   0.18   0.09   0.46 
  8192   7.5360e-04   4.7100e-05   347.86   0.10   0.03   0.35 
  16384   6.2900e-04   7.8625e-05   416.76   0.05   0.02   0.20 
  32768   5.5040e-04   1.3760e-04   476.28   0.05   0.03   0.13 
  65536   5.2600e-04   2.6300e-04   498.37   0.03   0.02   0.07 
  131072   4.9660e-04   4.9660e-04   527.88   0.01   0.01   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   2   3   8   9 
  256   6   2   3   7   8 
  512   9   1   8   6   3 
  1024   9   8   1   6   2 
  2048   8   6   2   1   3 
  4096   6   2   8   3   1 
  8192   6   3   2   8   9 
  16384   3   6   7   8   2 
  32768   3   6   9   8   1 
  65536   6   3   1   2   8 
  131072   9   1   7   2   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   3   3 
  256    2   3   3 
  512    1   3   6 
  1024    1   3   6 
  2048    2   5   6 
  4096    1   2   6 
  8192    4   5   7 
  16384    2   7   9 
  32768    2   7   9 
  65536    2   7   9 
  131072    5   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1622e-02   1.1349e-05   22.56   0.62   0.52   1.56 
  256   7.3328e-03   1.4322e-05   35.75   0.51   0.46   1.29 
  512   6.6138e-03   2.5835e-05   39.64   0.17   0.12   0.44 
  1024   3.3404e-03   2.6097e-05   78.48   0.17   0.10   0.45 
  2048   1.7136e-03   2.6775e-05   152.98   0.15   0.05   0.45 
  4096   8.6760e-04   2.7112e-05   302.15   0.21   0.10   0.59 
  8192   6.0920e-04   3.8075e-05   430.31   0.09   0.01   0.35 
  16384   4.8680e-04   6.0850e-05   538.50   0.06   0.02   0.24 
  32768   4.2820e-04   1.0705e-04   612.20   0.03   0.01   0.12 
  65536   3.8040e-04   1.9020e-04   689.13   0.02   0.01   0.07 
  131072   3.6200e-04   3.6200e-04   724.15   0.02   0.00   0.06 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   6   3   8   9 
  256   2   6   3   7   8 
  512   9   8   1   2   6 
  1024   9   8   1   2   3 
  2048   9   8   6   2   1 
  4096   6   2   3   9   8 
  8192   2   8   3   9   6 
  16384   6   2   3   9   8 
  32768   6   9   2   3   7 
  65536   6   1   2   3   9 
  131072   9   6   2   3   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    2   3   3 
  256    2   3   3 
  512    1   3   7 
  1024    1   2   6 
  2048    1   5   6 
  4096    1   3   6 
  8192    4   5   7 
  16384    2   7   9 
  32768    6   7   9 
  65536    4   7   9 
  131072    6   7   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1724e-02   1.1449e-05   22.36   0.61   0.50   1.54 
  256   7.2836e-03   1.4226e-05   35.99   0.52   0.47   1.30 
  512   6.5792e-03   2.5700e-05   39.84   0.17   0.12   0.45 
  1024   3.3086e-03   2.5848e-05   79.23   0.18   0.12   0.46 
  2048   1.7018e-03   2.6590e-05   154.04   0.16   0.06   0.46 
  4096   9.1958e-04   2.8737e-05   285.07   0.16   0.04   0.52 
  8192   5.9118e-04   3.6949e-05   443.43   0.12   0.05   0.39 
  16384   4.7524e-04   5.9405e-05   551.60   0.09   0.03   0.25 
  32768   4.2426e-04   1.0606e-04   617.89   0.04   0.01   0.13 
  65536   3.8042e-04   1.9021e-04   689.09   0.03   0.01   0.08 
  131072   3.6326e-04   3.6326e-04   721.64   0.01   0.01   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   2   3   8   9 
  256   2   6   3   7   8 
  512   9   8   1   6   2 
  1024   9   8   1   6   2 
  2048   9   8   1   2   6 
  4096   9   6   2   8   3 
  8192   8   3   6   2   9 
  16384   6   3   2   8   1 
  32768   3   7   8   9   6 
  65536   3   1   9   6   7 
  131072   7   9   8   6   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    2   3   3 
  256    2   3   3 
  512    1   3   7 
  1024    1   2   6 
  2048    1   3   6 
  4096    3   6   6 
  8192    1   4   7 
  16384    1   6   8 
  32768    3   7   9 
  65536    5   6   9 
  131072    6   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1773e-02   1.1497e-05   22.27   0.33   0.04   1.25 
  256   7.4638e-03   1.4578e-05   35.12   0.29   0.04   1.16 
  512   5.3194e-03   2.0779e-05   49.28   0.22   0.08   0.74 
  1024   2.8600e-03   2.2344e-05   91.66   0.19   0.06   0.71 
  2048   1.6336e-03   2.5525e-05   160.47   0.14   0.07   0.56 
  4096   1.0766e-03   3.3644e-05   243.49   0.06   0.02   0.29 
  8192   7.5520e-04   4.7200e-05   347.12   0.04   0.02   0.17 
  16384   6.2800e-04   7.8500e-05   417.43   0.05   0.01   0.28 
  32768   5.5400e-04   1.3850e-04   473.18   0.05   0.01   0.23 
  65536   5.2100e-04   2.6050e-04   503.16   0.02   0.01   0.10 
  131072   4.8420e-04   4.8420e-04   541.40   0.02   0.01   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   3   6   5 
  256   2   6   4   3   5 
  512   3   5   2   4   9 
  1024   3   5   2   4   9 
  2048   3   4   5   2   9 
  4096   2   3   4   8   5 
  8192   2   3   6   8   4 
  16384   2   3   5   8   6 
  32768   9   8   2   3   5 
  65536   3   2   9   8   5 
  131072   5   8   4   2   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    2   5   5 
  256    3   5   6 
  512    1   4   5 
  1024    1   4   5 
  2048    1   4   8 
  4096    2   6   8 
  8192    2   6   9 
  16384    5   6   8 
  32768    5   7   9 
  65536    3   8   9 
  131072    2   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1638e-02   1.1365e-05   22.52   0.31   0.05   1.24 
  256   7.3442e-03   1.4344e-05   35.69   0.28   0.05   1.14 
  512   5.0672e-03   1.9794e-05   51.73   0.22   0.08   0.73 
  1024   2.6754e-03   2.0902e-05   97.98   0.20   0.06   0.73 
  2048   1.5194e-03   2.3741e-05   172.53   0.13   0.03   0.57 
  4096   8.6940e-04   2.7169e-05   301.52   0.09   0.03   0.44 
  8192   6.0800e-04   3.8000e-05   431.16   0.03   0.02   0.09 
  16384   4.8920e-04   6.1150e-05   535.86   0.01   0.01   0.04 
  32768   4.2880e-04   1.0720e-04   611.34   0.01   0.01   0.02 
  65536   3.7620e-04   1.8810e-04   696.82   0.01   0.01   0.03 
  131072   3.6140e-04   3.6140e-04   725.36   0.01   0.01   0.07 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   6   3   5 
  256   2   4   6   3   5 
  512   3   2   5   4   9 
  1024   3   5   2   4   9 
  2048   3   5   2   4   9 
  4096   4   6   2   5   3 
  8192   8   2   4   5   3 
  16384   5   6   4   2   9 
  32768   4   3   6   2   8 
  65536   5   3   7   9   2 
  131072   9   2   6   3   4 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    3   5   6 
  256    3   5   6 
  512    1   4   5 
  1024    1   4   5 
  2048    2   5   8 
  4096    3   5   8 
  8192    2   7   9 
  16384    6   9   9 
  32768    6   9   9 
  65536    3   9   9 
  131072    6   8   9 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1820e-02   1.1543e-05   22.18   0.35   0.14   0.72 
  256   7.3202e-03   1.4297e-05   35.81   0.36   0.14   0.98 
  512   5.5673e-03   2.1747e-05   47.09   0.21   0.19   0.54 
  1024   2.8146e-03   2.1989e-05   93.14   0.20   0.18   0.56 
  2048   1.4956e-03   2.3369e-05   175.27   0.16   0.12   0.56 
  4096   8.6038e-04   2.6887e-05   304.68   0.11   0.04   0.48 
  8192   5.9108e-04   3.6943e-05   443.50   0.05   0.03   0.16 
  16384   4.7268e-04   5.9085e-05   554.59   0.03   0.02   0.15 
  32768   4.2514e-04   1.0629e-04   616.61   0.01   0.01   0.03 
  65536   3.8020e-04   1.9010e-04   689.49   0.01   0.01   0.07 
  131072   3.5812e-04   3.5812e-04   732.00   0.01   0.01   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   6   2   4   3   5 
  256   6   2   4   3   5 
  512   4   2   3   5   9 
  1024   4   2   3   5   9 
  2048   4   3   2   5   9 
  4096   3   5   4   2   9 
  8192   8   3   2   5   6 
  16384   2   4   8   3   5 
  32768   4   3   5   8   9 
  65536   9   3   5   4   8 
  131072   2   4   9   8   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   5 
  256    1   1   5 
  512    1   4   5 
  1024    1   4   5 
  2048    4   4   7 
  4096    1   5   8 
  8192    1   6   9 
  16384    4   7   9 
  32768    5   9   9 
  65536    5   8   9 
  131072    6   9   9 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:17 EDT.
86479 accesses since 1/2/96.