PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 128KB message using SHMEM within a node)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 67.16 12.92 9.5%
1 iter. 67.64 12.56 7.2%
10 iter. 68.19 12.62 7.7%
cache inv. w/overlap 67.23 12.80 17.4%
1 iter. w/overlap 67.84 12.54 15.8%
10 iter. w/overlap 68.12 12.68 16.9%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 67.07 9.97 7.0%
1 iter. 68.23 9.73 24.1%
10 iter. 68.20 9.66 9.3%
cache inv. w/overlap 67.54 8.31 13.4%
1 iter. w/overlap 67.75 8.23 27.7%
10 iter. w/overlap 68.14 8.75 12.3%

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4256e-02   1.3922e-05   18.39   0.07   0.14   0.14 
  256   9.1516e-03   1.7874e-05   28.64   0.02   0.05   0.05 
  512   6.9382e-03   2.7102e-05   37.78   0.00   0.00   0.00 
  1024   5.2680e-03   4.1156e-05   49.76   0.01   0.02   0.02 
  2048   4.6170e-03   7.2141e-05   56.78   0.01   0.01   0.01 
  4096   4.2428e-03   1.3259e-04   61.79   0.00   0.01   0.01 
  8192   4.0668e-03   2.5417e-04   64.46   0.00   0.00   0.00 
  16384   3.9842e-03   4.9803e-04   65.80   0.00   0.00   0.00 
  32768   3.9360e-03   9.8400e-04   66.60   0.00   0.00   0.00 
  65536   3.9130e-03   1.9565e-03   66.99   0.00   0.00   0.00 
  131072   3.9034e-03   3.9034e-03   67.16   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   2   2 
  512    2   2   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4082e-02   1.3752e-05   18.62   0.07   0.14   0.14 
  256   9.0992e-03   1.7772e-05   28.81   0.03   0.06   0.06 
  512   6.9296e-03   2.7069e-05   37.83   0.10   0.20   0.20 
  1024   5.2622e-03   4.1111e-05   49.82   0.01   0.02   0.02 
  2048   4.5794e-03   7.1553e-05   57.24   0.01   0.02   0.02 
  4096   4.1956e-03   1.3111e-04   62.48   0.00   0.01   0.01 
  8192   4.0288e-03   2.5180e-04   65.07   0.00   0.01   0.01 
  16384   3.9496e-03   4.9370e-04   66.37   0.00   0.00   0.00 
  32768   3.8836e-03   9.7090e-04   67.50   0.01   0.01   0.01 
  65536   3.8756e-03   1.9378e-03   67.64   0.00   0.00   0.00 
  131072   3.8420e-03   3.8420e-03   68.23   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   2   1          
  16384   2   1          
  32768   1   2          
  65536   1   2          
  131072   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    1   2   2 
  65536    2   2   2 
  131072    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.4033e-02   1.3704e-05   18.68   0.07   0.14   0.14 
  256   9.0868e-03   1.7748e-05   28.85   0.03   0.05   0.05 
  512   6.8919e-03   2.6922e-05   38.04   0.01   0.01   0.01 
  1024   5.1967e-03   4.0599e-05   50.44   0.01   0.02   0.02 
  2048   4.5442e-03   7.1003e-05   57.69   0.01   0.02   0.02 
  4096   4.1581e-03   1.2994e-04   63.04   0.00   0.01   0.01 
  8192   4.0009e-03   2.5006e-04   65.52   0.00   0.01   0.01 
  16384   3.9135e-03   4.8919e-04   66.98   0.00   0.00   0.00 
  32768   3.8774e-03   9.6935e-04   67.61   0.00   0.00   0.00 
  65536   3.8506e-03   1.9253e-03   68.08   0.00   0.00   0.00 
  131072   3.8439e-03   3.8439e-03   68.20   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   2   1          
  131072   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   2 
  512    1   2   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.2975e-02   1.2671e-05   20.20   0.10   0.19   0.19 
  256   8.7186e-03   1.7029e-05   30.07   0.01   0.02   0.02 
  512   6.6856e-03   2.6116e-05   39.21   0.02   0.04   0.04 
  1024   5.3126e-03   4.1505e-05   49.34   0.01   0.03   0.03 
  2048   4.6684e-03   7.2944e-05   56.15   0.00   0.00   0.00 
  4096   4.2386e-03   1.3246e-04   61.85   0.01   0.01   0.01 
  8192   4.0468e-03   2.5292e-04   64.78   0.00   0.00   0.00 
  16384   3.9970e-03   4.9962e-04   65.59   0.00   0.01   0.01 
  32768   3.9388e-03   9.8470e-04   66.55   0.00   0.00   0.00 
  65536   3.9094e-03   1.9547e-03   67.05   0.00   0.00   0.00 
  131072   3.8814e-03   3.8814e-03   67.54   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   2   1          
  131072   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   2   2 
  512    1   2   2 
  1024    1   2   2 
  2048    2   2   2 
  4096    1   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.2885e-02   1.2583e-05   20.34   0.09   0.19   0.19 
  256   8.6724e-03   1.6938e-05   30.23   0.01   0.02   0.02 
  512   6.6274e-03   2.5888e-05   39.55   0.12   0.25   0.25 
  1024   5.2700e-03   4.1172e-05   49.74   0.02   0.03   0.03 
  2048   4.5612e-03   7.1269e-05   57.47   0.01   0.02   0.02 
  4096   4.2170e-03   1.3178e-04   62.16   0.01   0.01   0.01 
  8192   4.0196e-03   2.5122e-04   65.22   0.00   0.01   0.01 
  16384   3.9562e-03   4.9452e-04   66.26   0.00   0.01   0.01 
  32768   3.9060e-03   9.7650e-04   67.11   0.00   0.01   0.01 
  65536   3.8694e-03   1.9347e-03   67.75   0.00   0.01   0.01 
  131072   3.8640e-03   3.8640e-03   67.84   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   2   1          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   2   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.3160e-02   1.2851e-05   19.92   0.08   0.17   0.17 
  256   8.6811e-03   1.6955e-05   30.20   0.01   0.02   0.02 
  512   6.5975e-03   2.5771e-05   39.73   0.03   0.05   0.05 
  1024   5.2255e-03   4.0824e-05   50.17   0.02   0.04   0.04 
  2048   4.5110e-03   7.0484e-05   58.11   0.01   0.02   0.02 
  4096   4.1683e-03   1.3026e-04   62.89   0.01   0.01   0.01 
  8192   3.9848e-03   2.4905e-04   65.79   0.00   0.00   0.00 
  16384   3.9330e-03   4.9162e-04   66.65   0.00   0.00   0.00 
  32768   3.8775e-03   9.6937e-04   67.61   0.00   0.00   0.00 
  65536   3.8470e-03   1.9235e-03   68.14   0.00   0.00   0.00 
  131072   3.8480e-03   3.8480e-03   68.12   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   2   1          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   2   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:03:59 EDT.
86107 accesses since 1/2/96.