PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 8KB message using SHMEM within a node)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 58.85 9.93 12.8%
1 iter. 60.82 9.75 12.0%
10 iter. 61.57 9.76 12.7%
cache inv. w/overlap 57.37 10.06 10.0%
1 iter. w/overlap 59.75 10.10 9.6%
10 iter. w/overlap 61.82 10.07 9.7%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 58.72 8.14 6.0%
1 iter. 60.73 8.42 8.9%
10 iter. 61.56 8.38 9.0%
cache inv. w/overlap 58.72 8.40 8.7%
1 iter. w/overlap 60.37 8.30 7.9%
10 iter. w/overlap 63.64 8.99 9.3%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 56.77 10.08 11.6%
1 iter. 60.82 10.10 12.0%
10 iter. 61.55 10.14 14.1%
cache inv. w/overlap 56.26 10.28 11.8%
1 iter. w/overlap 59.06 10.05 10.4%
10 iter. w/overlap 59.91 9.97 10.4%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 57.89 8.75 7.5%
1 iter. 60.32 8.83 9.1%
10 iter. 61.32 8.95 10.1%
cache inv. w/overlap 55.73 9.01 9.1%
1 iter. w/overlap 59.15 8.83 8.1%
10 iter. w/overlap 60.16 8.75 6.6%

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7150e-02   1.6748e-05   0.96   0.11   0.18   0.21 
  16   8.8110e-03   1.7209e-05   1.86   0.09   0.14   0.18 
  32   4.3348e-03   1.6933e-05   3.78   0.11   0.15   0.19 
  64   2.2332e-03   1.7447e-05   7.34   0.09   0.13   0.17 
  128   1.2460e-03   1.9469e-05   13.15   0.07   0.10   0.14 
  256   7.6740e-04   2.3981e-05   21.35   0.05   0.06   0.09 
  512   5.3680e-04   3.3550e-05   30.52   0.03   0.04   0.06 
  1024   4.0720e-04   5.0900e-05   40.24   0.02   0.02   0.04 
  2048   3.3760e-04   8.4400e-05   48.53   0.02   0.02   0.03 
  4096   2.9440e-04   1.4720e-04   55.65   0.03   0.04   0.05 
  8192   2.7840e-04   2.7840e-04   58.85   0.01   0.02   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   2   4   1   3    
  512   1   2   3   4    
  1024   1   2   3   4    
  2048   1   2   3   4    
  4096   2   1   4   3    
  8192   1   2   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   1   4 
  32    1   1   4 
  64    1   1   4 
  128    1   2   4 
  256    1   2   4 
  512    1   3   4 
  1024    1   4   4 
  2048    1   4   4 
  4096    1   3   4 
  8192    2   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7220e-02   1.6817e-05   0.95   0.10   0.16   0.20 
  16   8.5970e-03   1.6791e-05   1.91   0.10   0.16   0.20 
  32   4.3144e-03   1.6853e-05   3.80   0.10   0.16   0.20 
  64   2.2424e-03   1.7519e-05   7.31   0.08   0.12   0.16 
  128   1.2372e-03   1.9331e-05   13.24   0.07   0.10   0.13 
  256   7.6240e-04   2.3825e-05   21.49   0.04   0.05   0.08 
  512   5.2880e-04   3.3050e-05   30.98   0.03   0.04   0.05 
  1024   3.9660e-04   4.9575e-05   41.31   0.02   0.02   0.04 
  2048   3.2680e-04   8.1700e-05   50.13   0.01   0.02   0.02 
  4096   2.8840e-04   1.4420e-04   56.81   0.01   0.02   0.02 
  8192   2.6940e-04   2.6940e-04   60.82   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   2   4   1   3    
  512   1   3   2   4    
  1024   1   2   3   4    
  2048   1   3   2   4    
  4096   1   2   4   3    
  8192   1   3   2   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   2   4 
  16    1   2   4 
  32    1   2   4 
  64    1   1   4 
  128    1   2   4 
  256    1   2   4 
  512    1   4   4 
  1024    1   4   4 
  2048    2   4   4 
  4096    1   4   4 
  8192    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.6993e-02   1.6595e-05   0.96   0.11   0.18   0.22 
  16   8.4169e-03   1.6439e-05   1.95   0.12   0.19   0.22 
  32   4.2407e-03   1.6565e-05   3.86   0.11   0.18   0.21 
  64   2.2230e-03   1.7367e-05   7.37   0.08   0.13   0.16 
  128   1.2271e-03   1.9174e-05   13.35   0.07   0.10   0.14 
  256   7.4240e-04   2.3200e-05   22.07   0.05   0.06   0.08 
  512   5.2300e-04   3.2688e-05   31.33   0.02   0.02   0.04 
  1024   3.8046e-04   4.7557e-05   43.06   0.03   0.03   0.04 
  2048   3.1806e-04   7.9515e-05   51.51   0.03   0.03   0.04 
  4096   2.8202e-04   1.4101e-04   58.10   0.01   0.02   0.03 
  8192   2.6610e-04   2.6610e-04   61.57   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   2   4   1   3    
  512   1   3   2   4    
  1024   2   3   1   4    
  2048   1   3   2   4    
  4096   4   1   3   2    
  8192   1   2   3   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   1   4 
  32    1   1   4 
  64    1   2   4 
  128    1   2   4 
  256    1   1   4 
  512    1   4   4 
  1024    1   4   4 
  2048    1   4   4 
  4096    2   4   4 
  8192    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7051e-02   1.6652e-05   0.96   0.13   0.22   0.22 
  16   8.4504e-03   1.6505e-05   1.94   0.13   0.22   0.24 
  32   4.2460e-03   1.6586e-05   3.86   0.13   0.22   0.24 
  64   2.2338e-03   1.7452e-05   7.33   0.15   0.26   0.26 
  128   1.2512e-03   1.9550e-05   13.09   0.12   0.20   0.20 
  256   7.6900e-04   2.4031e-05   21.31   0.07   0.10   0.10 
  512   5.6520e-04   3.5325e-05   28.99   0.02   0.01   0.06 
  1024   4.1200e-04   5.1500e-05   39.77   0.03   0.04   0.05 
  2048   3.3880e-04   8.4700e-05   48.36   0.03   0.03   0.05 
  4096   2.9900e-04   1.4950e-04   54.80   0.03   0.04   0.05 
  8192   2.7900e-04   2.7900e-04   58.72   0.03   0.04   0.05 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   1   3    
  16   2   4   3   1    
  32   2   4   3   1    
  64   2   4   3   1    
  128   2   4   3   1    
  256   2   4   1   3    
  512   2   1   3   4    
  1024   2   3   1   4    
  2048   2   3   1   4    
  4096   2   3   4   1    
  8192   2   1   3   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   1   4 
  32    1   1   4 
  64    1   1   2 
  128    1   1   4 
  256    1   1   4 
  512    2   3   4 
  1024    1   3   4 
  2048    1   4   4 
  4096    1   4   4 
  8192    1   3   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.7013e-02   1.6615e-05   0.96   0.12   0.21   0.21 
  16   8.5132e-03   1.6627e-05   1.92   0.12   0.21   0.21 
  32   4.2742e-03   1.6696e-05   3.83   0.12   0.20   0.21 
  64   2.2218e-03   1.7358e-05   7.37   0.14   0.25   0.26 
  128   1.2368e-03   1.9325e-05   13.25   0.11   0.20   0.20 
  256   7.7040e-04   2.4075e-05   21.27   0.05   0.08   0.09 
  512   5.5140e-04   3.4462e-05   29.71   0.02   0.01   0.04 
  1024   4.1100e-04   5.1375e-05   39.86   0.00   0.00   0.01 
  2048   3.2860e-04   8.2150e-05   49.86   0.01   0.02   0.02 
  4096   2.9320e-04   1.4660e-04   55.88   0.01   0.02   0.02 
  8192   2.7140e-04   2.7140e-04   60.37   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   3   1    
  16   2   4   3   1    
  32   2   4   3   1    
  64   2   4   3   1    
  128   2   4   3   1    
  256   2   4   3   1    
  512   3   2   1   4    
  1024   1   2   3   4    
  2048   2   3   1   4    
  4096   2   3   1   4    
  8192   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   4 
  16    1   2   4 
  32    1   2   4 
  64    1   1   3 
  128    1   1   4 
  256    1   2   4 
  512    2   4   4 
  1024    3   4   4 
  2048    2   4   4 
  4096    2   4   4 
  8192    1   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.8001e-02   1.7579e-05   0.91   0.07   0.14   0.15 
  16   8.7942e-03   1.7176e-05   1.86   0.10   0.17   0.17 
  32   4.4474e-03   1.7373e-05   3.68   0.09   0.16   0.16 
  64   2.3567e-03   1.8412e-05   6.95   0.09   0.18   0.18 
  128   1.2971e-03   2.0267e-05   12.63   0.07   0.14   0.14 
  256   7.9938e-04   2.4981e-05   20.50   0.02   0.03   0.04 
  512   5.4624e-04   3.4140e-05   29.99   0.01   0.02   0.02 
  1024   4.0750e-04   5.0937e-05   40.21   0.01   0.00   0.02 
  2048   3.2316e-04   8.0790e-05   50.70   0.01   0.02   0.02 
  4096   2.8962e-04   1.4481e-04   56.57   0.00   0.00   0.01 
  8192   2.5746e-04   2.5746e-04   63.64   0.04   0.06   0.06 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   4   3   1    
  16   2   4   1   3    
  32   2   4   1   3    
  64   2   4   1   3    
  128   2   4   1   3    
  256   4   2   3   1    
  512   1   3   2   4    
  1024   4   3   1   2    
  2048   4   3   1   2    
  4096   1   3   2   4    
  8192   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    2   2   4 
  16    1   2   4 
  32    1   2   4 
  64    2   2   4 
  128    2   2   4 
  256    2   4   4 
  512    1   4   4 
  1024    3   4   4 
  2048    1   4   4 
  4096    3   4   4 
  8192    1   2   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:04:54 EDT.
86400 accesses since 1/2/96.