PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 128KB message using MPI between two nodes)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 257.66 4.81 39.6%
1 iter. 261.10 4.73 40.7%
10 iter. 263.14 4.86 39.3%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 256.50 5.14 40.7%
1 iter. 259.86 5.17 39.4%
10 iter. 263.09 5.20 38.4%
cache inv. w/overlap 255.60 5.17 40.0%
1 iter. w/overlap 259.70 5.29 39.1%
10 iter. w/overlap 262.63 5.24 39.7%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 255.40 6.28 33.8%
1 iter. 260.17 6.41 33.5%
10 iter. 261.94 6.18 35.5%
cache inv. w/overlap 256.75 6.42 35.1%
1 iter. w/overlap 260.68 6.46 34.2%
10 iter. w/overlap 262.70 6.48 36.6%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 254.66 6.16 36.6%
1 iter. 259.86 6.49 34.2%
10 iter. 262.28 6.49 35.0%
cache inv. w/overlap 255.80 6.70 34.6%
1 iter. w/overlap 260.12 6.83 33.8%
10 iter. w/overlap 262.43 6.62 38.2%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 253.92 12.06 13.1%
1 iter. 258.52 12.32 11.0%
10 iter. 261.00 11.57 16.0%
cache inv. w/overlap 257.21 6.68 33.1%
1 iter. w/overlap 260.22 6.36 35.1%
10 iter. w/overlap 262.73 6.63 35.9%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 253.67 11.87 13.7%
1 iter. 258.47 12.20 10.7%
10 iter. 260.14 12.26 11.9%
cache inv. w/overlap 256.55 6.85 34.3%
1 iter. w/overlap 259.96 6.77 35.1%
10 iter. w/overlap 262.35 6.88 36.9%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 256.55 9.87 11.7%
1 iter. 259.55 9.32 16.0%
10 iter. 262.18 9.87 12.7%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 256.45 5.72 35.0%
1 iter. 260.48 5.79 34.3%
10 iter. 262.91 5.51 37.1%
cache inv. w/overlap 255.60 6.27 32.1%
1 iter. w/overlap 260.27 5.57 38.1%
10 iter. w/overlap 262.57 5.48 38.4%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 256.25 6.59 33.8%
1 iter. 259.45 6.76 32.2%
10 iter. 262.02 6.66 34.1%
cache inv. w/overlap 255.35 6.81 33.4%
1 iter. w/overlap 260.32 6.94 31.7%
10 iter. w/overlap 262.81 6.59 37.0%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 256.10 7.13 30.3%
1 iter. 259.55 6.73 33.3%
10 iter. 262.40 6.79 33.3%
cache inv. w/overlap 256.80 6.62 35.8%
1 iter. w/overlap 260.22 6.29 38.0%
10 iter. w/overlap 262.70 7.13 34.6%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 255.85 6.51 27.7%
1 iter. 260.68 6.41 29.1%
10 iter. 263.20 6.25 30.6%

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.3892e-02   1.3567e-05   18.87   0.36   0.26   0.98 
  256   8.9710e-03   1.7521e-05   29.22   0.25   0.22   0.70 
  512   5.7560e-03   2.2484e-05   45.54   0.16   0.15   0.44 
  1024   3.4646e-03   2.7067e-05   75.66   0.13   0.12   0.35 
  2048   2.2156e-03   3.4619e-05   118.32   0.10   0.09   0.27 
  4096   1.5714e-03   4.9106e-05   166.82   0.08   0.07   0.20 
  8192   1.3062e-03   8.1637e-05   200.69   0.05   0.04   0.14 
  16384   1.1554e-03   1.4443e-04   226.89   0.03   0.03   0.07 
  32768   1.0724e-03   2.6810e-04   244.45   0.02   0.02   0.05 
  65536   1.0412e-03   5.2060e-04   251.77   0.01   0.01   0.04 
  131072   1.0170e-03   1.0170e-03   257.76   0.01   0.01   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   10   7   1   2 
  1024   0   1   7   10   2 
  2048   0   1   10   7   2 
  4096   0   1   10   7   2 
  8192   0   10   1   7   2 
  16384   0   10   7   1   2 
  32768   0   10   7   1   6 
  65536   0   1   7   10   6 
  131072   0   10   1   7   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   5 
  256    1   2   8 
  512    1   2   9 
  1024    1   4   9 
  2048    1   3   10 
  4096    1   4   11 
  8192    1   7   11 
  16384    2   9   11 
  32768    2   11   11 
  65536    3   11   11 
  131072    7   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.3781e-02   1.3458e-05   19.02   0.37   0.26   1.03 
  256   8.9330e-03   1.7447e-05   29.35   0.25   0.19   0.71 
  512   5.7842e-03   2.2595e-05   45.32   0.15   0.14   0.41 
  1024   3.4608e-03   2.7037e-05   75.75   0.12   0.12   0.34 
  2048   2.1892e-03   3.4206e-05   119.74   0.10   0.10   0.28 
  4096   1.5544e-03   4.8575e-05   168.65   0.07   0.07   0.19 
  8192   1.2820e-03   8.0125e-05   204.48   0.05   0.04   0.11 
  16384   1.1324e-03   1.4155e-04   231.49   0.03   0.03   0.07 
  32768   1.0608e-03   2.6520e-04   247.12   0.01   0.01   0.03 
  65536   1.0260e-03   5.1300e-04   255.50   0.01   0.01   0.02 
  131072   1.0034e-03   1.0034e-03   261.26   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   1   7   10   2 
  1024   0   1   10   7   2 
  2048   0   1   10   7   2 
  4096   0   1   10   7   2 
  8192   0   1   10   7   2 
  16384   0   10   1   7   2 
  32768   0   10   1   7   2 
  65536   0   7   10   1   2 
  131072   0   10   1   7   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   5 
  256    1   3   8 
  512    1   4   9 
  1024    1   4   9 
  2048    1   4   10 
  4096    1   4   11 
  8192    1   7   11 
  16384    3   9   11 
  32768    4   11   11 
  65536    9   11   11 
  131072    9   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.3922e-02   1.3596e-05   18.83   0.35   0.25   0.98 
  256   8.9428e-03   1.7466e-05   29.31   0.25   0.20   0.71 
  512   5.7439e-03   2.2437e-05   45.64   0.16   0.16   0.44 
  1024   3.4416e-03   2.6888e-05   76.17   0.13   0.12   0.37 
  2048   2.1758e-03   3.3997e-05   120.48   0.11   0.10   0.28 
  4096   1.5391e-03   4.8096e-05   170.33   0.08   0.07   0.21 
  8192   1.2909e-03   8.0680e-05   203.07   0.04   0.04   0.11 
  16384   1.1253e-03   1.4066e-04   232.95   0.03   0.03   0.06 
  32768   1.0533e-03   2.6332e-04   248.89   0.01   0.01   0.04 
  65536   1.0150e-03   5.0749e-04   258.28   0.01   0.01   0.02 
  131072   9.9650e-04   9.9650e-04   263.06   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   1   10   7   2 
  1024   0   1   10   7   2 
  2048   0   1   7   10   2 
  4096   0   1   7   10   2 
  8192   1   7   0   10   2 
  16384   0   1   10   7   2 
  32768   0   1   10   7   2 
  65536   0   10   1   7   2 
  131072   0   7   10   1   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   6 
  256    1   2   8 
  512    1   2   9 
  1024    1   4   9 
  2048    1   4   10 
  4096    1   4   11 
  8192    3   7   11 
  16384    3   9   11 
  32768    6   11   11 
  65536    7   11   11 
  131072    11   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4077e-02   1.3747e-05   18.62   0.24   0.25   0.59 
  256   9.0736e-03   1.7722e-05   28.89   0.17   0.19   0.36 
  512   6.1232e-03   2.3919e-05   42.81   0.08   0.08   0.16 
  1024   3.4782e-03   2.7173e-05   75.37   0.10   0.11   0.17 
  2048   2.2374e-03   3.4959e-05   117.16   0.08   0.09   0.14 
  4096   1.6122e-03   5.0381e-05   162.60   0.05   0.05   0.09 
  8192   1.3022e-03   8.1388e-05   201.31   0.04   0.04   0.06 
  16384   1.1558e-03   1.4448e-04   226.81   0.02   0.03   0.04 
  32768   1.0780e-03   2.6950e-04   243.18   0.01   0.01   0.02 
  65536   1.0438e-03   5.2190e-04   251.14   0.01   0.01   0.01 
  131072   1.0138e-03   1.0138e-03   258.58   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   10   7   2 
  256   0   10   1   7   2 
  512   1   0   10   7   2 
  1024   0   1   10   7   2 
  2048   0   1   10   7   2 
  4096   0   1   10   7   2 
  8192   0   10   7   1   2 
  16384   0   10   1   7   2 
  32768   0   10   1   2   8 
  65536   0   2   8   4   10 
  131072   4   9   5   3   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   5 
  256    1   2   8 
  512    3   4   11 
  1024    1   4   11 
  2048    1   4   11 
  4096    1   4   11 
  8192    2   7   11 
  16384    1   11   11 
  32768    4   11   11 
  65536    9   11   11 
  131072    10   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.3992e-02   1.3664e-05   18.74   0.23   0.24   0.59 
  256   9.0948e-03   1.7763e-05   28.82   0.16   0.19   0.36 
  512   5.8226e-03   2.2745e-05   45.02   0.12   0.13   0.23 
  1024   3.4646e-03   2.7067e-05   75.66   0.09   0.11   0.17 
  2048   2.2018e-03   3.4403e-05   119.06   0.08   0.09   0.13 
  4096   1.5860e-03   4.9562e-05   165.29   0.05   0.06   0.09 
  8192   1.2782e-03   7.9887e-05   205.09   0.04   0.04   0.06 
  16384   1.1334e-03   1.4167e-04   231.29   0.02   0.02   0.03 
  32768   1.0622e-03   2.6555e-04   246.79   0.01   0.01   0.02 
  65536   1.0248e-03   5.1240e-04   255.80   0.01   0.01   0.01 
  131072   1.0046e-03   1.0046e-03   260.94   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   10   1   7   2 
  512   0   1   10   7   2 
  1024   0   1   10   7   2 
  2048   0   10   1   7   4 
  4096   0   10   1   7   2 
  8192   0   10   1   7   4 
  16384   0   10   1   7   2 
  32768   0   10   1   7   4 
  65536   0   1   7   10   4 
  131072   4   2   5   0   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   6 
  256    1   3   9 
  512    1   2   11 
  1024    1   4   11 
  2048    1   4   11 
  4096    1   5   11 
  8192    1   7   11 
  16384    2   11   11 
  32768    6   11   11 
  65536    10   11   11 
  131072    11   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4042e-02   1.3712e-05   18.67   0.23   0.25   0.59 
  256   9.0123e-03   1.7602e-05   29.09   0.17   0.19   0.38 
  512   5.8291e-03   2.2770e-05   44.97   0.15   0.17   0.23 
  1024   3.4748e-03   2.7147e-05   75.44   0.11   0.13   0.18 
  2048   2.2202e-03   3.4690e-05   118.07   0.09   0.12   0.14 
  4096   1.5679e-03   4.8996e-05   167.20   0.07   0.09   0.11 
  8192   1.2618e-03   7.8864e-05   207.75   0.05   0.05   0.09 
  16384   1.1227e-03   1.4033e-04   233.50   0.03   0.03   0.06 
  32768   1.0511e-03   2.6277e-04   249.40   0.01   0.01   0.03 
  65536   1.0171e-03   5.0855e-04   257.74   0.01   0.01   0.02 
  131072   9.9560e-04   9.9560e-04   263.30   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   0   1   7   10   2 
  256   0   10   1   7   4 
  512   0   1   7   10   2 
  1024   0   1   7   10   2 
  2048   0   1   10   7   2 
  4096   0   7   1   10   2 
  8192   0   10   7   1   2 
  16384   0   10   1   2   4 
  32768   0   7   1   2   8 
  65536   0   10   7   1   2 
  131072   10   0   7   1   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   6 
  256    1   3   9 
  512    1   2   11 
  1024    1   4   11 
  2048    1   4   11 
  4096    1   4   11 
  8192    1   5   11 
  16384    2   10   11 
  32768    3   11   11 
  65536    10   11   11 
  131072    11   11   11 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:46 EDT.
86295 accesses since 1/2/96.