PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 8KB message using MPI between two nodes)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 179.26 4.63 37.1%
1 iter. 202.77 4.50 39.8%
10 iter. 204.70 4.68 35.9%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 161.90 4.99 35.8%
1 iter. 199.80 4.93 37.6%
10 iter. 202.77 4.95 35.4%
cache inv. w/overlap 159.07 5.13 37.2%
1 iter. w/overlap 197.40 5.05 38.2%
10 iter. w/overlap 204.03 5.11 35.4%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 167.18 6.13 32.9%
1 iter. 192.75 6.18 32.6%
10 iter. 197.87 6.14 30.5%
cache inv. w/overlap 169.61 6.41 33.2%
1 iter. w/overlap 200.29 5.86 36.7%
10 iter. w/overlap 204.39 6.29 33.1%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 152.27 6.22 32.0%
1 iter. 191.40 6.11 34.7%
10 iter. 196.83 6.39 30.0%
cache inv. w/overlap 159.69 6.51 32.2%
1 iter. w/overlap 197.87 6.67 32.4%
10 iter. w/overlap 201.72 6.52 34.3%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 142.47 10.67 18.6%
1 iter. 181.24 10.96 24.2%
10 iter. 185.13 10.36 23.4%
cache inv. w/overlap 171.74 6.55 31.8%
1 iter. w/overlap 200.29 6.22 34.1%
10 iter. w/overlap 204.39 6.28 33.9%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 153.41 11.18 20.9%
1 iter. 178.86 10.67 23.3%
10 iter. 184.05 10.63 23.9%
cache inv. w/overlap 171.38 6.71 33.8%
1 iter. w/overlap 198.83 7.09 30.5%
10 iter. w/overlap 201.72 6.73 32.9%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 162.86 6.89 31.2%
1 iter. 189.19 6.83 31.4%
10 iter. 194.35 7.06 28.8%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 159.07 5.96 27.4%
1 iter. 194.58 6.05 29.4%
10 iter. 202.87 6.10 26.4%
cache inv. w/overlap 163.51 5.34 36.6%
1 iter. w/overlap 197.87 5.64 33.9%
10 iter. w/overlap 203.53 5.44 33.4%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 166.17 6.88 29.9%
1 iter. 193.66 6.47 31.8%
10 iter. 196.40 6.47 29.0%
cache inv. w/overlap 165.49 6.65 31.7%
1 iter. w/overlap 199.80 6.52 33.3%
10 iter. w/overlap 202.62 6.64 32.2%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 151.70 6.65 30.9%
1 iter. 190.07 6.62 31.9%
10 iter. 196.12 6.88 26.7%
cache inv. w/overlap 165.49 6.74 31.4%
1 iter. w/overlap 196.45 6.78 32.2%
10 iter. w/overlap 201.72 7.00 30.8%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 169.61 7.14 22.0%
1 iter. 198.35 6.78 23.0%
10 iter. 202.87 6.93 20.1%

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.3446e-03   9.1256e-06   1.75   0.52   0.44   1.39 
  16   4.5984e-03   8.9812e-06   3.56   0.52   0.39   1.37 
  32   2.3496e-03   9.1781e-06   6.97   0.51   0.41   1.29 
  64   1.5316e-03   1.1966e-05   10.70   0.39   0.28   1.09 
  128   8.8860e-04   1.3884e-05   18.44   0.35   0.26   0.95 
  256   5.9040e-04   1.8450e-05   27.75   0.24   0.20   0.65 
  512   3.8140e-04   2.3838e-05   42.96   0.18   0.18   0.46 
  1024   2.3620e-04   2.9525e-05   69.36   0.16   0.15   0.36 
  2048   1.5300e-04   3.8250e-05   107.08   0.14   0.15   0.31 
  4096   1.1740e-04   5.8700e-05   139.56   0.10   0.10   0.25 
  8192   9.2200e-05   9.2200e-05   177.70   0.11   0.10   0.23 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   2   3 
  16   0   1   2   7   3 
  32   0   1   7   2   3 
  64   0   1   7   2   10 
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   7   1   10   2 
  1024   0   7   1   10   2 
  2048   0   1   10   7   6 
  4096   0   1   10   7   2 
  8192   0   10   6   1   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   3 
  128    1   1   5 
  256    1   3   8 
  512    1   1   9 
  1024    1   2   9 
  2048    1   2   9 
  4096    2   4   10 
  8192    1   2   11 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.2118e-03   8.9959e-06   1.78   0.52   0.41   1.38 
  16   4.6024e-03   8.9891e-06   3.56   0.51   0.39   1.38 
  32   2.3570e-03   9.2070e-06   6.95   0.49   0.37   1.31 
  64   1.5002e-03   1.1720e-05   10.92   0.40   0.28   1.12 
  128   8.6740e-04   1.3553e-05   18.89   0.34   0.26   0.97 
  256   5.5900e-04   1.7469e-05   29.31   0.24   0.20   0.68 
  512   3.7340e-04   2.3338e-05   43.88   0.15   0.14   0.40 
  1024   2.1780e-04   2.7225e-05   75.22   0.13   0.13   0.33 
  2048   1.4060e-04   3.5150e-05   116.53   0.09   0.09   0.27 
  4096   9.8600e-05   4.9300e-05   166.17   0.08   0.07   0.20 
  8192   8.1800e-05   8.1800e-05   200.29   0.05   0.04   0.12 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   2   3 
  16   0   1   7   2   3 
  32   0   1   7   2   3 
  64   0   1   7   2   3 
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   1   10   7   2 
  1024   0   1   10   7   2 
  2048   0   1   7   10   2 
  4096   0   10   1   7   2 
  8192   10   1   0   7   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   2   2 
  64    1   2   4 
  128    1   2   5 
  256    1   3   8 
  512    1   3   9 
  1024    1   4   9 
  2048    2   4   10 
  4096    1   4   11 
  8192    3   7   11 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.4316e-03   9.2106e-06   1.74   0.50   0.39   1.31 
  16   4.6365e-03   9.0556e-06   3.53   0.51   0.40   1.34 
  32   2.3722e-03   9.2663e-06   6.91   0.49   0.38   1.33 
  64   1.5000e-03   1.1719e-05   10.92   0.40   0.28   1.12 
  128   8.7052e-04   1.3602e-05   18.82   0.34   0.23   0.97 
  256   5.5458e-04   1.7331e-05   29.54   0.25   0.21   0.72 
  512   3.5840e-04   2.2400e-05   45.71   0.15   0.14   0.41 
  1024   2.1284e-04   2.6605e-05   76.98   0.13   0.13   0.35 
  2048   1.3616e-04   3.4040e-05   120.33   0.10   0.10   0.26 
  4096   9.6440e-05   4.8220e-05   169.89   0.07   0.07   0.19 
  8192   7.9980e-05   7.9980e-05   204.85   0.04   0.04   0.11 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   2   3 
  16   0   1   7   2   3 
  32   0   1   7   2   3 
  64   0   1   7   2   3 
  128   0   1   7   10   2 
  256   0   1   10   7   2 
  512   0   1   7   10   2 
  1024   0   1   7   10   2 
  2048   0   1   7   10   2 
  4096   0   1   10   7   2 
  8192   0   1   10   7   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   2   2 
  64    1   2   4 
  128    1   2   6 
  256    1   2   8 
  512    1   3   9 
  1024    1   4   9 
  2048    1   4   10 
  4096    1   4   11 
  8192    2   8   11 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.5246e-03   9.3014e-06   1.72   0.34   0.39   0.56 
  16   4.6532e-03   9.0883e-06   3.52   0.35   0.41   0.64 
  32   2.3802e-03   9.2977e-06   6.88   0.35   0.40   0.61 
  64   1.5328e-03   1.1975e-05   10.69   0.28   0.29   0.67 
  128   8.9460e-04   1.3978e-05   18.31   0.23   0.25   0.55 
  256   5.8960e-04   1.8425e-05   27.79   0.17   0.18   0.35 
  512   4.0240e-04   2.5150e-05   40.72   0.11   0.12   0.19 
  1024   2.3220e-04   2.9025e-05   70.56   0.14   0.15   0.20 
  2048   1.5420e-04   3.8550e-05   106.25   0.13   0.14   0.19 
  4096   1.1940e-04   5.9700e-05   137.22   0.06   0.06   0.14 
  8192   9.1200e-05   9.1200e-05   179.65   0.05   0.05   0.11 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   2   4 
  16   0   1   7   2   4 
  32   0   1   7   2   4 
  64   0   1   7   4   10 
  128   0   1   7   10   2 
  256   0   10   1   7   4 
  512   0   10   1   7   4 
  1024   0   10   1   4   2 
  2048   0   10   4   1   7 
  4096   4   0   3   2   7 
  8192   4   8   0   5   3 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   5 
  256    1   2   10 
  512    1   1   11 
  1024    1   1   11 
  2048    1   1   11 
  4096    1   5   11 
  8192    2   5   11 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.6080e-03   9.3828e-06   1.71   0.33   0.37   0.61 
  16   4.5526e-03   8.8918e-06   3.60   0.38   0.41   0.72 
  32   2.3290e-03   9.0977e-06   7.03   0.35   0.39   0.59 
  64   1.4908e-03   1.1647e-05   10.99   0.28   0.29   0.70 
  128   8.7060e-04   1.3603e-05   18.82   0.23   0.23   0.57 
  256   5.6300e-04   1.7594e-05   29.10   0.16   0.19   0.35 
  512   3.8200e-04   2.3875e-05   42.89   0.11   0.12   0.19 
  1024   2.1720e-04   2.7150e-05   75.43   0.10   0.12   0.18 
  2048   1.4100e-04   3.5250e-05   116.20   0.07   0.08   0.12 
  4096   1.0080e-04   5.0400e-05   162.54   0.04   0.03   0.10 
  8192   8.1400e-05   8.1400e-05   201.28   0.02   0.02   0.06 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   2   4 
  16   0   1   7   4   2 
  32   0   1   7   2   4 
  64   0   1   7   2   4 
  128   0   1   7   10   2 
  256   0   10   1   7   2 
  512   0   1   10   7   2 
  1024   0   7   1   10   2 
  2048   0   10   1   7   4 
  4096   0   10   7   1   4 
  8192   0   8   4   2   10 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   6 
  256    1   2   10 
  512    1   4   11 
  1024    1   3   11 
  2048    1   4   11 
  4096    1   9   11 
  8192    3   10   11 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.4074e-03   9.1869e-06   1.74   0.36   0.42   0.64 
  16   4.6924e-03   9.1648e-06   3.49   0.35   0.41   0.66 
  32   2.3368e-03   9.1280e-06   7.01   0.36   0.43   0.62 
  64   1.4980e-03   1.1703e-05   10.94   0.28   0.29   0.70 
  128   8.6416e-04   1.3502e-05   18.96   0.23   0.25   0.61 
  256   5.5648e-04   1.7390e-05   29.44   0.17   0.19   0.38 
  512   3.6320e-04   2.2700e-05   45.11   0.14   0.17   0.22 
  1024   2.1596e-04   2.6995e-05   75.87   0.10   0.13   0.17 
  2048   1.3610e-04   3.4025e-05   120.38   0.09   0.10   0.15 
  4096   9.7820e-05   4.8910e-05   167.49   0.05   0.06   0.10 
  8192   7.8840e-05   7.8840e-05   207.81   0.02   0.02   0.06 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   0   1   7   2   4 
  16   0   1   7   2   4 
  32   0   1   7   4   2 
  64   0   1   7   2   10 
  128   0   1   7   10   4 
  256   0   10   1   7   2 
  512   0   1   7   10   2 
  1024   0   1   7   10   4 
  2048   0   1   10   7   2 
  4096   0   10   7   1   4 
  8192   0   2   4   7   1 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   3 
  16    1   1   3 
  32    1   1   3 
  64    1   1   3 
  128    1   1   6 
  256    1   2   9 
  512    1   2   11 
  1024    1   4   11 
  2048    1   4   11 
  4096    1   4   11 
  8192    1   10   11 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:48 EDT.
86245 accesses since 1/2/96.