PSTSWM AlphaSC-1000 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 8KB message using MPI within a node)

Date/Person: January 3, 2002 / P. Worley
Platform: Compaq AlphaServer SC at Pittsburgh Supercomputer Center (lemieux.psc.edu):
     750 ES45 4-way SMP nodes (1.0 GHz Alpha 21264C with 8MB L2 cache)
Environment: SC System TS2.5; Digital UNIX V5.1;   RMS X.XX
Communication Library: MPI
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 236.08 13.55 35.6%
1 iter. 420.10 13.39 42.2%
10 iter. 411.24 13.50 40.6%
cache inv. w/overlap 235.40 13.35 37.5%
1 iter. w/overlap 407.56 13.33 39.7%
10 iter. w/overlap 405.34 14.22 45.4%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 248.24 8.37 58.2%
1 iter. 426.67 8.30 63.1%
10 iter. 429.13 8.34 62.6%
cache inv. w/overlap 287.44 8.27 48.6%
1 iter. w/overlap 457.65 8.39 47.9%
10 iter. w/overlap 456.63 9.39 47.6%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 243.81 8.67 57.5%
1 iter. 407.56 8.73 62.0%
10 iter. 438.78 8.75 61.6%
cache inv. w/overlap 292.57 8.69 46.4%
1 iter. w/overlap 440.43 8.68 47.4%
10 iter. w/overlap 474.07 9.79 46.6%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 196.45 23.80 28.5%
1 iter. 330.32 24.25 48.9%
10 iter. 326.37 24.06 47.9%
cache inv. w/overlap 289.47 8.40 48.9%
1 iter. w/overlap 455.11 8.36 49.5%
10 iter. w/overlap 462.04 9.46 47.2%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 187.46 24.13 27.6%
1 iter. 341.33 24.79 51.6%
10 iter. 318.88 24.12 46.9%
cache inv. w/overlap 292.57 8.82 45.4%
1 iter. w/overlap 445.22 8.85 47.1%
10 iter. w/overlap 463.87 9.91 46.4%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 265.97 8.28 59.1%
1 iter. 413.74 8.33 63.5%
10 iter. 430.93 8.37 62.5%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 246.75 20.12 30.3%
1 iter. 413.74 20.18 51.0%
10 iter. 407.77 20.05 49.9%
cache inv. w/overlap 238.14 19.82 38.4%
1 iter. w/overlap 407.56 19.42 48.3%
10 iter. w/overlap 390.47 15.77 45.1%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 252.06 12.69 42.3%
1 iter. 424.46 12.86 43.8%
10 iter. 441.62 12.83 43.2%
cache inv. w/overlap 301.18 14.22 41.5%
1 iter. w/overlap 465.45 12.79 46.4%
10 iter. w/overlap 477.11 15.09 43.9%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 241.65 13.02 38.4%
1 iter. 415.84 13.06 41.5%
10 iter. 430.03 13.13 40.4%
cache inv. w/overlap 281.51 11.20 38.8%
1 iter. w/overlap 450.11 10.85 41.6%
10 iter. w/overlap 461.26 14.89 41.9%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.5672e-03   8.3664e-06   1.91   0.77   0.55   1.90 
  16   4.3076e-03   8.4133e-06   3.80   0.77   0.54   1.91 
  32   2.2030e-03   8.6055e-06   7.44   0.74   0.53   1.81 
  64   1.3300e-03   1.0391e-05   12.32   0.64   0.51   1.57 
  128   7.4800e-04   1.1687e-05   21.90   0.59   0.53   1.50 
  256   4.8980e-04   1.5306e-05   33.45   0.48   0.46   1.20 
  512   4.4400e-04   2.7750e-05   36.90   0.16   0.08   0.45 
  1024   2.3740e-04   2.9675e-05   69.01   0.15   0.03   0.47 
  2048   1.3100e-04   3.2750e-05   125.07   0.13   0.02   0.47 
  4096   9.0600e-05   4.5300e-05   180.84   0.11   0.06   0.41 
  8192   6.2400e-05   6.2400e-05   262.56   0.12   0.04   0.39 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   3   8   9 
  16   2   6   3   8   9 
  32   6   2   3   8   9 
  64   6   2   3   9   8 
  128   6   2   3   8   9 
  256   6   2   3   8   9 
  512   1   9   8   6   2 
  1024   2   8   6   9   1 
  2048   6   9   1   2   3 
  4096   3   6   8   2   9 
  8192   6   3   9   2   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   2   3 
  16    2   2   3 
  32    2   2   3 
  64    2   2   3 
  128    2   3   3 
  256    1   3   3 
  512    2   3   7 
  1024    2   5   6 
  2048    1   6   7 
  4096    2   4   7 
  8192    1   5   7 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.5392e-03   8.3391e-06   1.92   0.78   0.57   1.95 
  16   4.2770e-03   8.3535e-06   3.83   0.77   0.57   1.93 
  32   2.1710e-03   8.4805e-06   7.55   0.75   0.55   1.87 
  64   1.2950e-03   1.0117e-05   12.65   0.69   0.53   1.69 
  128   7.3320e-04   1.1456e-05   22.35   0.61   0.50   1.52 
  256   4.6180e-04   1.4431e-05   35.48   0.49   0.44   1.25 
  512   4.2420e-04   2.6513e-05   38.62   0.16   0.12   0.44 
  1024   2.0980e-04   2.6225e-05   78.09   0.16   0.12   0.45 
  2048   1.0940e-04   2.7350e-05   149.76   0.15   0.08   0.45 
  4096   5.6000e-05   2.8000e-05   292.57   0.19   0.11   0.52 
  8192   4.0200e-05   4.0200e-05   407.56   0.10   0.04   0.41 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   6   3   8   9 
  16   6   2   3   8   9 
  32   2   6   3   8   9 
  64   6   2   3   8   9 
  128   2   6   3   8   9 
  256   2   6   3   7   8 
  512   9   8   1   2   3 
  1024   9   8   1   6   2 
  2048   9   2   8   1   3 
  4096   6   2   9   1   3 
  8192   3   8   1   7   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   2   3 
  16    2   2   3 
  32    2   3   3 
  64    2   3   3 
  128    2   3   3 
  256    2   3   3 
  512    1   3   7 
  1024    1   3   7 
  2048    2   4   6 
  4096    1   2   6 
  8192    2   5   7 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.5654e-03   8.3647e-06   1.91   0.77   0.57   1.89 
  16   4.2778e-03   8.3550e-06   3.83   0.77   0.56   1.91 
  32   2.1751e-03   8.4966e-06   7.53   0.75   0.54   1.85 
  64   1.2837e-03   1.0029e-05   12.76   0.69   0.57   1.67 
  128   7.2378e-04   1.1309e-05   22.64   0.62   0.52   1.55 
  256   4.5276e-04   1.4149e-05   36.19   0.53   0.48   1.32 
  512   4.1632e-04   2.6020e-05   39.35   0.16   0.10   0.44 
  1024   2.0854e-04   2.6068e-05   78.57   0.17   0.11   0.44 
  2048   1.0776e-04   2.6940e-05   152.04   0.14   0.04   0.43 
  4096   5.4100e-05   2.7050e-05   302.85   0.21   0.09   0.59 
  8192   3.6760e-05   3.6760e-05   445.70   0.11   0.03   0.36 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   3   8   9 
  16   6   2   3   8   9 
  32   2   6   3   8   9 
  64   6   2   3   8   9 
  128   6   2   3   8   9 
  256   6   2   3   8   7 
  512   9   8   1   6   2 
  1024   9   8   1   2   3 
  2048   9   6   8   1   2 
  4096   6   2   9   3   8 
  8192   8   3   2   9   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   2   3 
  16    1   2   3 
  32    2   3   3 
  64    2   3   3 
  128    2   3   3 
  256    2   3   3 
  512    1   3   7 
  1024    1   2   6 
  2048    1   6   6 
  4096    2   2   6 
  8192    1   5   7 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.5438e-03   8.3436e-06   1.92   0.35   0.06   1.30 
  16   4.3096e-03   8.4172e-06   3.80   0.33   0.06   1.21 
  32   2.1980e-03   8.5859e-06   7.45   0.32   0.07   1.15 
  64   1.3186e-03   1.0302e-05   12.43   0.33   0.06   1.18 
  128   7.4400e-04   1.1625e-05   22.02   0.33   0.06   1.18 
  256   4.8040e-04   1.5013e-05   34.10   0.29   0.05   1.15 
  512   3.6120e-04   2.2575e-05   45.36   0.20   0.07   0.73 
  1024   1.9720e-04   2.4650e-05   83.08   0.17   0.04   0.64 
  2048   1.1520e-04   2.8800e-05   142.22   0.14   0.10   0.51 
  4096   7.9600e-05   3.9800e-05   205.83   0.10   0.04   0.34 
  8192   5.5200e-05   5.5200e-05   296.81   0.11   0.08   0.27 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   6   3   5 
  16   2   4   6   3   5 
  32   2   4   6   3   5 
  64   2   6   4   3   5 
  128   2   4   6   3   5 
  256   2   4   6   3   5 
  512   5   3   2   4   9 
  1024   5   3   2   4   9 
  2048   2   4   3   5   9 
  4096   8   4   3   2   5 
  8192   8   3   2   4   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   3   5 
  16    2   3   5 
  32    2   4   5 
  64    2   3   5 
  128    1   4   5 
  256    1   5   6 
  512    2   4   5 
  1024    1   5   6 
  2048    3   4   8 
  4096    1   5   7 
  8192    1   4   7 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.5674e-03   8.3666e-06   1.91   0.32   0.06   1.29 
  16   4.2718e-03   8.3434e-06   3.84   0.33   0.07   1.26 
  32   2.1478e-03   8.3898e-06   7.63   0.33   0.07   1.26 
  64   1.2940e-03   1.0109e-05   12.66   0.32   0.06   1.22 
  128   7.1780e-04   1.1216e-05   22.83   0.32   0.06   1.17 
  256   4.5820e-04   1.4319e-05   35.76   0.27   0.05   1.08 
  512   3.2640e-04   2.0400e-05   50.20   0.21   0.10   0.68 
  1024   1.6420e-04   2.0525e-05   99.78   0.22   0.07   0.75 
  2048   9.1000e-05   2.2750e-05   180.04   0.15   0.05   0.55 
  4096   5.4000e-05   2.7000e-05   303.41   0.08   0.03   0.43 
  8192   3.6800e-05   3.6800e-05   445.22   0.08   0.06   0.16 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   6   3   5 
  16   2   4   6   5   3 
  32   2   4   6   5   3 
  64   4   2   6   3   5 
  128   2   4   6   5   3 
  256   2   4   6   3   5 
  512   2   3   4   5   9 
  1024   3   5   4   2   9 
  2048   4   5   3   2   9 
  4096   4   2   5   3   9 
  8192   8   3   9   2   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    3   3   5 
  16    2   3   5 
  32    1   3   5 
  64    3   3   5 
  128    1   3   6 
  256    1   4   6 
  512    1   4   5 
  1024    1   3   5 
  2048    1   4   8 
  4096    3   5   8 
  8192    1   3   9 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   8.6476e-03   8.4450e-06   1.89   0.40   0.17   0.80 
  16   4.3128e-03   8.4235e-06   3.80   0.39   0.17   0.79 
  32   2.1894e-03   8.5523e-06   7.48   0.38   0.16   0.77 
  64   1.3000e-03   1.0156e-05   12.60   0.36   0.14   0.72 
  128   7.2888e-04   1.1389e-05   22.48   0.35   0.15   0.73 
  256   4.5668e-04   1.4271e-05   35.88   0.35   0.13   0.99 
  512   3.5406e-04   2.2129e-05   46.27   0.19   0.17   0.51 
  1024   1.7752e-04   2.2190e-05   92.29   0.18   0.16   0.53 
  2048   9.1400e-05   2.2850e-05   179.26   0.17   0.13   0.56 
  4096   5.1160e-05   2.5580e-05   320.25   0.13   0.05   0.54 
  8192   3.4420e-05   3.4420e-05   476.00   0.07   0.03   0.21 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   6   2   4   3   5 
  16   6   2   4   3   5 
  32   6   2   4   3   5 
  64   6   4   2   3   5 
  128   6   2   4   3   5 
  256   6   4   2   3   5 
  512   4   2   3   5   9 
  1024   4   2   5   3   9 
  2048   3   4   5   2   9 
  4096   3   5   9   4   2 
  8192   8   5   3   2   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   5 
  16    1   1   5 
  32    1   1   5 
  64    1   1   5 
  128    1   1   5 
  256    1   1   5 
  512    2   4   5 
  1024    2   4   5 
  2048    3   4   5 
  4096    1   5   8 
  8192    1   6   9 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:01:20 EDT.
86285 accesses since 1/2/96.