PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 128KB message using SHMEM between two nodes)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 154.44 13.72 9.6%
1 iter. 154.11 13.06 9.2%
10 iter. 160.58 13.13 9.7%
cache inv. w/overlap 158.07 12.04 9.5%
1 iter. w/overlap 157.52 12.10 11.4%
10 iter. w/overlap 159.22 12.23 7.7%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 137.65 9.25 18.4%
1 iter. 138.70 9.99 69.2%
10 iter. 139.87 9.93 12.0%
cache inv. w/overlap 139.11 8.11 16.1%
1 iter. w/overlap 138.67 8.14 72.7%
10 iter. w/overlap 141.70 8.22 12.3%

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.2874e-02   1.2572e-05   20.36   0.10   0.21   0.21 
  256   8.1358e-03   1.5890e-05   32.22   0.02   0.05   0.05 
  512   5.0006e-03   1.9534e-05   52.42   0.03   0.06   0.06 
  1024   3.2692e-03   2.5541e-05   80.19   0.01   0.02   0.02 
  2048   2.4834e-03   3.8803e-05   105.56   0.02   0.05   0.05 
  4096   2.0348e-03   6.3587e-05   128.83   0.05   0.10   0.10 
  8192   1.7988e-03   1.1242e-04   145.73   0.07   0.15   0.15 
  16384   1.7192e-03   2.1490e-04   152.48   0.07   0.15   0.15 
  32768   1.6974e-03   4.2435e-04   154.44   0.07   0.14   0.14 
  65536   1.7662e-03   8.8310e-04   148.42   0.04   0.08   0.08 
  131072   1.8932e-03   1.8932e-03   138.47   0.00   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   2   1          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   2   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.3027e-02   1.2721e-05   20.12   0.08   0.15   0.15 
  256   7.9118e-03   1.5453e-05   33.13   0.03   0.05   0.05 
  512   5.0126e-03   1.9580e-05   52.30   0.94   1.88   1.88 
  1024   3.2534e-03   2.5417e-05   80.58   0.01   0.01   0.01 
  2048   2.4646e-03   3.8509e-05   106.36   0.02   0.05   0.05 
  4096   2.0162e-03   6.3006e-05   130.02   0.05   0.10   0.10 
  8192   1.8044e-03   1.1278e-04   145.28   0.07   0.14   0.14 
  16384   1.7010e-03   2.1263e-04   154.11   0.08   0.16   0.16 
  32768   1.7282e-03   4.3205e-04   151.69   0.06   0.11   0.11 
  65536   1.8440e-03   9.2200e-04   142.16   0.01   0.03   0.03 
  131072   1.8868e-03   1.8868e-03   138.94   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   2 
  512    1   1   1 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   2   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.2989e-02   1.2685e-05   20.18   0.08   0.15   0.15 
  256   7.9041e-03   1.5438e-05   33.17   0.02   0.05   0.05 
  512   4.8017e-03   1.8757e-05   54.59   0.02   0.04   0.04 
  1024   3.2377e-03   2.5295e-05   80.97   0.00   0.00   0.00 
  2048   2.4529e-03   3.8326e-05   106.87   0.02   0.05   0.05 
  4096   1.9931e-03   6.2283e-05   131.53   0.05   0.10   0.10 
  8192   1.7773e-03   1.1108e-04   147.50   0.07   0.14   0.14 
  16384   1.6325e-03   2.0406e-04   160.58   0.10   0.19   0.19 
  32768   1.6380e-03   4.0950e-04   160.04   0.07   0.15   0.15 
  65536   1.7653e-03   8.8263e-04   148.50   0.03   0.07   0.07 
  131072   1.8226e-03   1.8226e-03   143.83   0.01   0.03   0.03 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   2   1          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   2   2 
  512    1   2   2 
  1024    2   2   2 
  2048    1   2   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1342e-02   1.1076e-05   23.11   0.12   0.24   0.24 
  256   7.1906e-03   1.4044e-05   36.46   0.05   0.10   0.10 
  512   4.5570e-03   1.7801e-05   57.53   0.02   0.03   0.03 
  1024   3.2114e-03   2.5089e-05   81.63   0.01   0.01   0.01 
  2048   2.3724e-03   3.7069e-05   110.50   0.03   0.07   0.07 
  4096   1.9876e-03   6.2112e-05   131.89   0.06   0.11   0.11 
  8192   1.7718e-03   1.1074e-04   147.95   0.07   0.15   0.15 
  16384   1.6698e-03   2.0872e-04   156.99   0.08   0.17   0.17 
  32768   1.6584e-03   4.1460e-04   158.07   0.07   0.15   0.15 
  65536   1.8016e-03   9.0080e-04   145.51   0.03   0.06   0.06 
  131072   1.8450e-03   1.8450e-03   142.08   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   2   1          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   2 
  256    1   1   2 
  512    1   2   2 
  1024    1   2   2 
  2048    1   1   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1052e-02   1.0793e-05   23.72   0.14   0.27   0.27 
  256   6.8836e-03   1.3445e-05   38.08   0.07   0.14   0.14 
  512   4.6178e-03   1.8038e-05   56.77   1.08   2.16   2.16 
  1024   3.1192e-03   2.4369e-05   84.04   0.01   0.03   0.03 
  2048   2.3722e-03   3.7066e-05   110.51   0.03   0.06   0.06 
  4096   1.9612e-03   6.1288e-05   133.67   0.06   0.11   0.11 
  8192   1.7734e-03   1.1084e-04   147.82   0.07   0.14   0.14 
  16384   1.6642e-03   2.0803e-04   157.52   0.09   0.17   0.17 
  32768   1.7346e-03   4.3365e-04   151.13   0.05   0.10   0.10 
  65536   1.8332e-03   9.1660e-04   143.00   0.02   0.03   0.03 
  131072   1.8904e-03   1.8904e-03   138.67   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   1   2          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   1 
  256    1   1   2 
  512    1   1   1 
  1024    1   2   2 
  2048    1   1   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   2   2 
  131072    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.1116e-02   1.0855e-05   23.58   0.13   0.26   0.26 
  256   6.9061e-03   1.3488e-05   37.96   0.06   0.12   0.12 
  512   4.3550e-03   1.7012e-05   60.19   0.02   0.05   0.05 
  1024   3.0992e-03   2.4213e-05   84.58   0.00   0.01   0.01 
  2048   2.3514e-03   3.6740e-05   111.49   0.02   0.04   0.04 
  4096   1.9370e-03   6.0531e-05   135.34   0.05   0.10   0.10 
  8192   1.7437e-03   1.0898e-04   150.34   0.07   0.14   0.14 
  16384   1.6464e-03   2.0581e-04   159.22   0.09   0.17   0.17 
  32768   1.6546e-03   4.1366e-04   158.43   0.07   0.15   0.15 
  65536   1.7613e-03   8.8063e-04   148.84   0.03   0.05   0.05 
  131072   1.7962e-03   1.7962e-03   145.95   0.02   0.04   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   1          
  256   2   1          
  512   2   1          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   1 
  256    1   1   2 
  512    1   2   2 
  1024    2   2   2 
  2048    1   2   2 
  4096    1   1   2 
  8192    1   1   2 
  16384    1   1   2 
  32768    1   1   2 
  65536    1   1   2 
  131072    1   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:05:12 EDT.
86079 accesses since 1/2/96.