PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 128KB message using MPI within a node)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 422.54 4.95 58.2%
1 iter. 689.49 4.89 60.5%
10 iter. 684.31 4.89 60.2%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 419.43 5.26 57.3%
1 iter. 673.55 5.21 59.2%
10 iter. 677.65 5.22 59.2%
cache inv. w/overlap 412.05 5.43 57.7%
1 iter. w/overlap 666.02 5.39 58.5%
10 iter. w/overlap 667.07 5.20 61.5%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 422.40 6.29 53.4%
1 iter. 684.81 6.20 55.6%
10 iter. 681.39 6.25 54.6%
cache inv. w/overlap 420.78 6.53 53.0%
1 iter. w/overlap 684.09 6.36 54.6%
10 iter. w/overlap 680.82 6.95 52.8%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 418.89 6.58 52.3%
1 iter. 677.37 6.44 54.4%
10 iter. 674.83 6.43 54.5%
cache inv. w/overlap 417.69 6.79 52.4%
1 iter. w/overlap 673.20 6.76 53.0%
10 iter. w/overlap 672.34 7.22 56.6%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 413.74 12.35 35.3%
1 iter. 665.34 12.30 36.4%
10 iter. 671.65 12.56 35.0%
cache inv. w/overlap 423.09 6.59 52.5%
1 iter. w/overlap 683.02 6.42 54.0%
10 iter. w/overlap 676.61 7.00 53.7%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 411.66 13.15 33.0%
1 iter. 660.98 13.18 33.0%
10 iter. 593.35 13.10 33.0%
cache inv. w/overlap 419.56 6.87 52.9%
1 iter. w/overlap 671.82 6.88 52.8%
10 iter. w/overlap 550.14 7.32 55.5%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 423.22 7.78 53.9%
1 iter. 678.08 7.75 55.3%
10 iter. 676.05 7.20 58.0%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 418.89 5.87 54.0%
1 iter. 674.24 5.62 57.6%
10 iter. 677.51 5.81 55.9%
cache inv. w/overlap 412.44 6.40 52.6%
1 iter. w/overlap 665.34 5.90 56.7%
10 iter. w/overlap 664.29 6.97 51.1%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 419.30 6.90 50.9%
1 iter. 671.13 6.74 52.8%
10 iter. 661.01 6.77 52.3%
cache inv. w/overlap 419.56 7.56 48.3%
1 iter. w/overlap 675.63 7.00 52.0%
10 iter. w/overlap 675.35 8.10 48.2%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 419.97 6.96 51.1%
1 iter. 677.02 6.69 54.2%
10 iter. 676.43 7.00 52.1%
cache inv. w/overlap 420.64 7.69 49.0%
1 iter. w/overlap 671.13 7.24 52.0%
10 iter. w/overlap 670.27 8.70 49.7%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 422.68 6.85 46.6%
1 iter. 680.54 6.65 49.4%
10 iter. 683.16 6.94 47.2%

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4943e-02   1.4593e-05   17.54   0.34   0.23   1.00 
  256   9.8738e-03   1.9285e-05   26.55   0.24   0.18   0.67 
  512   7.5492e-03   2.9489e-05   34.72   0.16   0.11   0.46 
  1024   4.0644e-03   3.1753e-05   64.50   0.14   0.09   0.40 
  2048   2.2814e-03   3.5647e-05   114.90   0.12   0.09   0.33 
  4096   1.3988e-03   4.3712e-05   187.41   0.10   0.08   0.27 
  8192   9.5780e-04   5.9862e-05   273.69   0.09   0.08   0.20 
  16384   8.4840e-04   1.0605e-04   308.99   0.06   0.05   0.13 
  32768   7.7680e-04   1.9420e-04   337.47   0.03   0.02   0.07 
  65536   6.9160e-04   3.4580e-04   379.04   0.03   0.04   0.06 
  131072   5.9220e-04   5.9220e-04   442.66   0.02   0.02   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   10   1   7   2 
  1024   0   10   1   7   2 
  2048   0   10   1   7   2 
  4096   0   10   1   7   2 
  8192   0   10   2   3   1 
  16384   0   10   6   2   8 
  32768   0   10   2   6   1 
  65536   0   10   6   2   3 
  131072   6   0   10   8   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   6 
  256    1   2   8 
  512    1   4   8 
  1024    1   4   9 
  2048    1   4   9 
  4096    1   4   9 
  8192    1   2   11 
  16384    1   5   11 
  32768    1   10   11 
  65536    1   10   11 
  131072    3   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4759e-02   1.4413e-05   17.76   0.34   0.22   1.02 
  256   9.7490e-03   1.9041e-05   26.89   0.25   0.17   0.68 
  512   7.3044e-03   2.8533e-05   35.89   0.16   0.11   0.46 
  1024   3.7794e-03   2.9527e-05   69.36   0.16   0.11   0.45 
  2048   2.0058e-03   3.1341e-05   130.69   0.15   0.11   0.43 
  4096   1.1164e-03   3.4888e-05   234.81   0.15   0.11   0.42 
  8192   7.1760e-04   4.4850e-05   365.31   0.14   0.11   0.33 
  16384   5.9960e-04   7.4950e-05   437.20   0.08   0.07   0.19 
  32768   5.3640e-04   1.3410e-04   488.71   0.04   0.04   0.10 
  65536   4.5560e-04   2.2780e-04   575.38   0.03   0.03   0.05 
  131072   3.8460e-04   3.8460e-04   681.60   0.03   0.01   0.12 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   10   1   7   2 
  1024   0   10   1   7   2 
  2048   0   1   10   7   2 
  4096   0   10   1   7   2 
  8192   0   10   2   1   3 
  16384   0   10   2   3   1 
  32768   0   10   2   1   6 
  65536   0   10   2   3   8 
  131072   0   1   10   2   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   6 
  256    1   2   8 
  512    1   3   8 
  1024    1   4   8 
  2048    1   3   8 
  4096    1   3   9 
  8192    1   2   9 
  16384    1   3   11 
  32768    1   9   11 
  65536    1   10   11 
  131072    5   8   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4743e-02   1.4398e-05   17.78   0.34   0.22   1.01 
  256   9.7368e-03   1.9017e-05   26.92   0.25   0.18   0.68 
  512   7.2481e-03   2.8313e-05   36.17   0.17   0.12   0.47 
  1024   3.7539e-03   2.9327e-05   69.83   0.16   0.11   0.45 
  2048   2.0040e-03   3.1313e-05   130.81   0.15   0.10   0.42 
  4096   1.1351e-03   3.5473e-05   230.94   0.13   0.10   0.39 
  8192   7.0470e-04   4.4044e-05   371.99   0.14   0.11   0.34 
  16384   5.9110e-04   7.3888e-05   443.49   0.09   0.06   0.27 
  32768   5.3468e-04   1.3367e-04   490.28   0.05   0.04   0.12 
  65536   4.5730e-04   2.2865e-04   573.24   0.04   0.02   0.15 
  131072   3.8146e-04   3.8146e-04   687.21   0.02   0.01   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   10   1   7   2 
  1024   0   10   1   7   2 
  2048   0   10   1   7   2 
  4096   0   1   10   7   2 
  8192   0   10   2   3   1 
  16384   0   10   2   1   3 
  32768   0   10   1   3   6 
  65536   0   10   1   3   6 
  131072   0   10   6   3   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   6 
  256    1   2   8 
  512    1   3   8 
  1024    1   4   8 
  2048    1   4   8 
  4096    1   4   9 
  8192    1   1   9 
  16384    1   3   10 
  32768    1   8   11 
  65536    1   9   11 
  131072    1   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.5003e-02   1.4651e-05   17.47   0.26   0.26   0.62 
  256   9.9526e-03   1.9439e-05   26.34   0.18   0.17   0.39 
  512   7.7526e-03   3.0284e-05   33.81   0.10   0.09   0.31 
  1024   4.1130e-03   3.2133e-05   63.74   0.10   0.11   0.25 
  2048   2.3110e-03   3.6109e-05   113.43   0.09   0.09   0.19 
  4096   1.4268e-03   4.4587e-05   183.73   0.09   0.09   0.15 
  8192   9.6700e-04   6.0437e-05   271.09   0.10   0.10   0.17 
  16384   8.5680e-04   1.0710e-04   305.96   0.06   0.05   0.12 
  32768   7.7000e-04   1.9250e-04   340.45   0.04   0.03   0.08 
  65536   7.0660e-04   3.5330e-04   370.99   0.02   0.01   0.04 
  131072   6.0180e-04   6.0180e-04   435.60   0.02   0.02   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   2   4 
  256   0   1   10   7   2 
  512   0   10   1   7   4 
  1024   0   10   1   7   2 
  2048   0   10   1   7   2 
  4096   0   10   4   1   2 
  8192   0   10   4   2   8 
  16384   0   10   4   2   8 
  32768   0   10   2   4   8 
  65536   0   4   2   8   10 
  131072   4   2   8   3   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   5 
  256    1   1   8 
  512    1   3   10 
  1024    1   3   10 
  2048    1   2   11 
  4096    1   2   11 
  8192    1   2   11 
  16384    1   5   11 
  32768    2   6   11 
  65536    5   11   11 
  131072    3   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4868e-02   1.4519e-05   17.63   0.23   0.22   0.62 
  256   9.8758e-03   1.9289e-05   26.54   0.16   0.17   0.40 
  512   7.2626e-03   2.8370e-05   36.10   0.12   0.10   0.34 
  1024   3.7690e-03   2.9445e-05   69.55   0.11   0.10   0.32 
  2048   2.0118e-03   3.1434e-05   130.30   0.11   0.10   0.27 
  4096   1.1290e-03   3.5281e-05   232.19   0.12   0.12   0.22 
  8192   7.3660e-04   4.6038e-05   355.88   0.13   0.15   0.22 
  16384   6.0720e-04   7.5900e-05   431.73   0.07   0.07   0.13 
  32768   5.3940e-04   1.3485e-04   485.99   0.05   0.05   0.08 
  65536   4.5520e-04   2.2760e-04   575.89   0.03   0.03   0.06 
  131072   3.8500e-04   3.8500e-04   680.89   0.05   0.01   0.38 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   10   1   7   2 
  512   0   10   1   7   4 
  1024   0   10   1   7   4 
  2048   0   10   1   7   4 
  4096   0   10   2   4   1 
  8192   0   10   4   2   8 
  16384   0   10   2   4   8 
  32768   0   10   2   4   8 
  65536   0   10   4   8   2 
  131072   0   9   8   5   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   6 
  256    1   3   10 
  512    1   3   10 
  1024    1   3   10 
  2048    1   3   10 
  4096    1   2   11 
  8192    1   2   11 
  16384    1   4   11 
  32768    1   5   11 
  65536    1   10   11 
  131072    4   9   10 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4901e-02   1.4552e-05   17.59   0.29   0.28   0.69 
  256   9.8416e-03   1.9222e-05   26.64   0.20   0.21   0.50 
  512   7.4302e-03   2.9024e-05   35.28   0.17   0.15   0.36 
  1024   3.8625e-03   3.0176e-05   67.87   0.16   0.15   0.32 
  2048   2.0488e-03   3.2013e-05   127.95   0.15   0.14   0.29 
  4096   1.1608e-03   3.6276e-05   225.83   0.13   0.14   0.25 
  8192   7.1546e-04   4.4716e-05   366.40   0.14   0.18   0.23 
  16384   5.9282e-04   7.4102e-05   442.20   0.09   0.09   0.22 
  32768   5.3620e-04   1.3405e-04   488.89   0.06   0.05   0.22 
  65536   4.5664e-04   2.2832e-04   574.07   0.03   0.03   0.11 
  131072   3.8380e-04   3.8380e-04   683.02   0.01   0.01   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   10   7   2 
  256   0   1   10   7   2 
  512   10   0   1   7   2 
  1024   0   10   1   7   2 
  2048   10   0   1   7   2 
  4096   10   0   1   7   2 
  8192   0   10   4   2   8 
  16384   0   10   2   4   8 
  32768   0   10   4   6   8 
  65536   0   10   4   3   2 
  131072   0   2   10   8   4 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   3   8 
  512    2   2   7 
  1024    2   2   7 
  2048    2   2   7 
  4096    2   2   11 
  8192    1   2   11 
  16384    1   4   11 
  32768    1   4   11 
  65536    2   10   11 
  131072    5   11   11 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:29 EDT.
86756 accesses since 1/2/96.