PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 8KB message using SHMEM within a node)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 59.66 13.99 15.9%
1 iter. 62.44 13.77 14.3%
10 iter. 63.02 13.71 14.5%
cache inv. w/overlap 58.85 11.61 11.3%
1 iter. w/overlap 61.50 11.79 13.6%
10 iter. w/overlap 61.61 11.86 14.0%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 59.93 11.68 14.7%
1 iter. 62.15 11.42 36.4%
10 iter. 62.90 11.55 15.1%
cache inv. w/overlap 60.46 10.91 20.7%
1 iter. w/overlap 61.50 10.25 39.3%
10 iter. w/overlap 62.95 10.87 17.5%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.2179e-02   1.1893e-05   1.35   0.08   0.17   0.17 
  16   6.1998e-03   1.2109e-05   2.64   0.07   0.13   0.13 
  32   3.0256e-03   1.1819e-05   5.42   0.09   0.17   0.17 
  64   1.5832e-03   1.2369e-05   10.35   0.06   0.13   0.13 
  128   8.8960e-04   1.3900e-05   18.42   0.07   0.14   0.14 
  256   5.7960e-04   1.8112e-05   28.27   0.04   0.08   0.08 
  512   4.4820e-04   2.8012e-05   36.56   0.00   0.00   0.00 
  1024   3.4880e-04   4.3600e-05   46.97   0.02   0.03   0.03 
  2048   3.0900e-04   7.7250e-05   53.02   0.01   0.02   0.02 
  4096   2.8200e-04   1.4100e-04   58.10   0.00   0.00   0.00 
  8192   2.7340e-04   2.7340e-04   59.93   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    2   2   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.1862e-02   1.1584e-05   1.38   0.09   0.19   0.19 
  16   6.0154e-03   1.1749e-05   2.72   0.09   0.17   0.17 
  32   3.0208e-03   1.1800e-05   5.42   0.09   0.17   0.17 
  64   1.5472e-03   1.2088e-05   10.59   0.07   0.15   0.15 
  128   8.8380e-04   1.3809e-05   18.54   0.07   0.14   0.14 
  256   5.7040e-04   1.7825e-05   28.72   0.04   0.08   0.08 
  512   4.4140e-04   2.7587e-05   37.12   0.29   0.59   0.59 
  1024   3.4560e-04   4.3200e-05   47.41   0.00   0.01   0.01 
  2048   3.0220e-04   7.5550e-05   54.22   0.00   0.01   0.01 
  4096   2.7820e-04   1.3910e-04   58.89   0.00   0.01   0.01 
  8192   2.6240e-04   2.6240e-04   62.44   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   1   1 
  1024    2   2   2 
  2048    2   2   2 
  4096    2   2   2 
  8192    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.1930e-02   1.1651e-05   1.37   0.09   0.18   0.18 
  16   6.0171e-03   1.1752e-05   2.72   0.08   0.17   0.17 
  32   3.0057e-03   1.1741e-05   5.45   0.09   0.17   0.17 
  64   1.5620e-03   1.2203e-05   10.49   0.07   0.14   0.14 
  128   8.6826e-04   1.3567e-05   18.87   0.08   0.15   0.15 
  256   5.6588e-04   1.7684e-05   28.95   0.04   0.08   0.08 
  512   4.3576e-04   2.7235e-05   37.60   0.00   0.01   0.01 
  1024   3.4234e-04   4.2793e-05   47.86   0.00   0.00   0.00 
  2048   3.0000e-04   7.5000e-05   54.61   0.01   0.01   0.01 
  4096   2.7328e-04   1.3664e-04   59.95   0.00   0.01   0.01 
  8192   2.5998e-04   2.5998e-04   63.02   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    2   2   2 
  1024    2   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0585e-02   1.0337e-05   1.55   0.07   0.13   0.13 
  16   4.9980e-03   9.7617e-06   3.28   0.10   0.21   0.21 
  32   2.5390e-03   9.9180e-06   6.45   0.10   0.20   0.20 
  64   1.4150e-03   1.1055e-05   11.58   0.12   0.24   0.24 
  128   8.1820e-04   1.2784e-05   20.02   0.10   0.20   0.20 
  256   5.2760e-04   1.6488e-05   31.05   0.05   0.11   0.11 
  512   4.3400e-04   2.7125e-05   37.75   0.01   0.03   0.03 
  1024   3.5380e-04   4.4225e-05   46.31   0.01   0.02   0.02 
  2048   3.0860e-04   7.7150e-05   53.09   0.00   0.00   0.00 
  4096   2.8400e-04   1.4200e-04   57.69   0.00   0.00   0.00 
  8192   2.7100e-04   2.7100e-04   60.46   0.01   0.03   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   2   1          
  2048   1   2          
  4096   2   1          
  8192   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   2   2 
  1024    1   2   2 
  2048    2   2   2 
  4096    2   2   2 
  8192    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.0584e-02   1.0336e-05   1.55   0.07   0.14   0.14 
  16   5.3362e-03   1.0422e-05   3.07   0.06   0.13   0.13 
  32   2.6956e-03   1.0530e-05   6.08   0.06   0.11   0.11 
  64   1.3950e-03   1.0898e-05   11.74   0.12   0.24   0.24 
  128   7.9980e-04   1.2497e-05   20.49   0.10   0.20   0.20 
  256   5.4380e-04   1.6994e-05   30.13   0.02   0.04   0.04 
  512   4.2780e-04   2.6737e-05   38.30   0.33   0.66   0.66 
  1024   3.4340e-04   4.2925e-05   47.71   0.01   0.01   0.01 
  2048   3.0140e-04   7.5350e-05   54.36   0.00   0.00   0.00 
  4096   2.7680e-04   1.3840e-04   59.19   0.00   0.01   0.01 
  8192   2.6640e-04   2.6640e-04   61.50   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   2   2 
  512    1   1   1 
  1024    1   2   2 
  2048    2   2   2 
  4096    2   2   2 
  8192    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.1210e-02   1.0947e-05   1.46   0.04   0.08   0.08 
  16   5.6443e-03   1.1024e-05   2.90   0.04   0.08   0.08 
  32   2.8358e-03   1.1077e-05   5.78   0.03   0.07   0.07 
  64   1.4651e-03   1.1446e-05   11.18   0.09   0.19   0.19 
  128   8.1390e-04   1.2717e-05   20.13   0.09   0.18   0.18 
  256   5.4108e-04   1.6909e-05   30.28   0.02   0.05   0.05 
  512   4.2346e-04   2.6466e-05   38.69   0.02   0.03   0.03 
  1024   3.4022e-04   4.2528e-05   48.16   0.00   0.01   0.01 
  2048   2.9670e-04   7.4175e-05   55.22   0.01   0.01   0.01 
  4096   2.7206e-04   1.3603e-04   60.22   0.01   0.02   0.02 
  8192   2.6026e-04   2.6026e-04   62.95   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   2   2 
  512    1   2   2 
  1024    2   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    1   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:04:11 EDT.
86251 accesses since 1/2/96.