PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 128KB message using SHMEM between two nodes)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 16384 REAL*8 floating point values each direction
Message size: Largest - 16384 REAL*8 floating point values
Smallest - 16 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 163.05 9.89 3.2%
1 iter. 163.80 9.56 3.0%
10 iter. 166.56 9.67 2.7%
cache inv. w/overlap 163.66 11.12 4.0%
1 iter. w/overlap 163.92 10.46 3.9%
10 iter. w/overlap 166.53 10.73 4.8%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 163.55 7.23 25.7%
1 iter. 164.64 7.01 28.0%
10 iter. 166.08 7.18 26.3%
cache inv. w/overlap 163.88 7.32 26.8%
1 iter. w/overlap 164.70 7.13 26.9%
10 iter. w/overlap 167.20 7.14 26.6%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 163.53 10.09 2.5%
1 iter. 164.91 9.75 2.4%
10 iter. 166.93 9.94 2.5%
cache inv. w/overlap 162.72 10.26 4.8%
1 iter. w/overlap 164.91 10.30 3.3%
10 iter. w/overlap 166.77 10.57 3.5%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 162.88 7.60 26.1%
1 iter. 163.47 7.54 26.1%
10 iter. 166.53 7.66 25.2%
cache inv. w/overlap 162.72 7.93 24.4%
1 iter. w/overlap 164.44 7.74 24.9%
10 iter. w/overlap 166.09 7.81 24.4%

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9515e-02   1.9058e-05   13.43   0.07   0.11   0.14 
  256   1.1464e-02   2.2391e-05   22.87   0.05   0.06   0.11 
  512   6.6874e-03   2.6123e-05   39.20   0.03   0.05   0.06 
  1024   4.1806e-03   3.2661e-05   62.70   0.02   0.02   0.04 
  2048   2.8226e-03   4.4103e-05   92.87   0.02   0.02   0.05 
  4096   2.1966e-03   6.8644e-05   119.34   0.02   0.02   0.02 
  8192   1.8968e-03   1.1855e-04   138.20   0.01   0.02   0.02 
  16384   1.7120e-03   2.1400e-04   153.12   0.01   0.01   0.02 
  32768   1.6630e-03   4.1575e-04   157.63   0.01   0.01   0.03 
  65536   1.6030e-03   8.0150e-04   163.53   0.02   0.02   0.04 
  131072   1.6028e-03   1.6028e-03   163.55   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   1   3   2   4    
  512   1   3   2   4    
  1024   3   1   2   4    
  2048   1   2   3   4    
  4096   1   3   4   2    
  8192   2   4   1   3    
  16384   1   2   4   3    
  32768   2   3   4   1    
  65536   3   2   4   1    
  131072   2   1   4   3    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   4 
  256    1   2   4 
  512    1   3   4 
  1024    2   4   4 
  2048    1   4   4 
  4096    1   4   4 
  8192    2   4   4 
  16384    3   4   4 
  32768    3   4   4 
  65536    1   4   4 
  131072    3   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9366e-02   1.8912e-05   13.54   0.07   0.10   0.13 
  256   1.1431e-02   2.2327e-05   22.93   0.05   0.07   0.10 
  512   6.5748e-03   2.5683e-05   39.87   0.03   0.04   0.07 
  1024   4.0548e-03   3.1678e-05   64.65   0.03   0.04   0.05 
  2048   2.7948e-03   4.3669e-05   93.80   0.02   0.03   0.05 
  4096   2.1844e-03   6.8262e-05   120.01   0.01   0.01   0.03 
  8192   1.8684e-03   1.1678e-04   140.30   0.01   0.01   0.03 
  16384   1.7030e-03   2.1288e-04   153.93   0.01   0.01   0.02 
  32768   1.6506e-03   4.1265e-04   158.82   0.00   0.01   0.01 
  65536   1.6010e-03   8.0050e-04   163.74   0.01   0.01   0.01 
  131072   1.5896e-03   1.5896e-03   164.91   0.00   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   1   3   2   4    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   2   3   4    
  16384   1   3   2   4    
  32768   3   1   4   2    
  65536   1   3   2   4    
  131072   3   2   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   4 
  256    1   2   4 
  512    1   3   4 
  1024    1   3   4 
  2048    1   4   4 
  4096    2   4   4 
  8192    3   4   4 
  16384    2   4   4 
  32768    4   4   4 
  65536    3   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9468e-02   1.9012e-05   13.47   0.07   0.09   0.13 
  256   1.1400e-02   2.2265e-05   23.00   0.05   0.06   0.10 
  512   6.5622e-03   2.5634e-05   39.95   0.04   0.06   0.06 
  1024   4.0424e-03   3.1581e-05   64.85   0.03   0.04   0.06 
  2048   2.7778e-03   4.3404e-05   94.37   0.02   0.03   0.04 
  4096   2.1575e-03   6.7421e-05   121.50   0.01   0.01   0.02 
  8192   1.8392e-03   1.1495e-04   142.53   0.01   0.01   0.02 
  16384   1.6832e-03   2.1040e-04   155.74   0.00   0.01   0.01 
  32768   1.6221e-03   4.0553e-04   161.60   0.00   0.00   0.01 
  65536   1.5704e-03   7.8519e-04   166.93   0.01   0.01   0.01 
  131072   1.5738e-03   1.5738e-03   166.56   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   1   3   2   4    
  512   1   3   2   4    
  1024   1   3   2   4    
  2048   1   3   2   4    
  4096   1   2   3   4    
  8192   1   3   2   4    
  16384   1   3   2   4    
  32768   1   3   2   4    
  65536   3   1   4   2    
  131072   1   4   3   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   2   4 
  256    1   2   4 
  512    1   2   4 
  1024    1   3   4 
  2048    2   4   4 
  4096    3   4   4 
  8192    2   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    1   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9909e-02   1.9442e-05   13.17   0.11   0.16   0.22 
  256   1.2415e-02   2.4249e-05   21.11   0.02   0.03   0.04 
  512   7.0154e-03   2.7404e-05   37.37   0.02   0.03   0.03 
  1024   4.2954e-03   3.3558e-05   61.03   0.01   0.01   0.03 
  2048   2.9158e-03   4.5559e-05   89.90   0.02   0.01   0.08 
  4096   2.2290e-03   6.9656e-05   117.61   0.01   0.01   0.02 
  8192   1.9014e-03   1.1884e-04   137.87   0.02   0.01   0.08 
  16384   1.7308e-03   2.1635e-04   151.46   0.01   0.01   0.02 
  32768   1.6220e-03   4.0550e-04   161.62   0.03   0.03   0.04 
  65536   1.6258e-03   8.1290e-04   161.24   0.00   0.01   0.01 
  131072   1.5996e-03   1.5996e-03   163.88   0.00   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   3   1    
  256   2   3   1   4    
  512   1   2   3   4    
  1024   3   1   2   4    
  2048   3   2   1   4    
  4096   1   3   2   4    
  8192   2   3   1   4    
  16384   3   1   2   4    
  32768   4   2   3   1    
  65536   2   3   1   4    
  131072   2   1   3   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   4 
  256    1   4   4 
  512    1   4   4 
  1024    2   4   4 
  2048    2   3   4 
  4096    2   4   4 
  8192    3   3   4 
  16384    3   4   4 
  32768    1   4   4 
  65536    4   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9465e-02   1.9008e-05   13.47   0.10   0.18   0.18 
  256   1.2162e-02   2.3754e-05   21.55   0.02   0.02   0.04 
  512   6.8890e-03   2.6910e-05   38.05   0.02   0.02   0.04 
  1024   4.2426e-03   3.3145e-05   61.79   0.02   0.01   0.04 
  2048   2.8948e-03   4.5231e-05   90.56   0.01   0.01   0.02 
  4096   2.1762e-03   6.8006e-05   120.46   0.01   0.00   0.02 
  8192   1.8864e-03   1.1790e-04   138.97   0.01   0.01   0.01 
  16384   1.7108e-03   2.1385e-04   153.23   0.00   0.00   0.01 
  32768   1.6460e-03   4.1150e-04   159.26   0.00   0.00   0.01 
  65536   1.5992e-03   7.9960e-04   163.92   0.01   0.01   0.02 
  131072   1.5896e-03   1.5896e-03   164.91   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   1   3    
  256   2   1   3   4    
  512   1   3   2   4    
  1024   3   1   2   4    
  2048   1   3   2   4    
  4096   3   1   2   4    
  8192   3   2   4   1    
  16384   1   3   2   4    
  32768   3   4   1   2    
  65536   1   3   2   4    
  131072   3   2   4   1    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   4 
  256    2   4   4 
  512    2   4   4 
  1024    2   4   4 
  2048    2   4   4 
  4096    3   4   4 
  8192    3   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    3   4   4 
  131072    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 131072 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  128   1.9420e-02   1.8965e-05   13.50   0.11   0.19   0.20 
  256   1.2103e-02   2.3639e-05   21.66   0.02   0.01   0.05 
  512   6.8513e-03   2.6763e-05   38.26   0.01   0.01   0.05 
  1024   4.2100e-03   3.2891e-05   62.27   0.01   0.00   0.04 
  2048   2.8668e-03   4.4794e-05   91.44   0.01   0.01   0.03 
  4096   2.1565e-03   6.7391e-05   121.56   0.01   0.01   0.02 
  8192   1.8601e-03   1.1626e-04   140.93   0.00   0.00   0.01 
  16384   1.6918e-03   2.1148e-04   154.95   0.00   0.00   0.01 
  32768   1.6259e-03   4.0647e-04   161.23   0.00   0.00   0.00 
  65536   1.5912e-03   7.9558e-04   164.75   0.00   0.00   0.00 
  131072   1.5678e-03   1.5678e-03   167.20   0.00   0.00   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  128   2   4   3   1    
  256   2   1   3   4    
  512   1   3   2   4    
  1024   3   2   1   4    
  2048   1   2   3   4    
  4096   1   2   3   4    
  8192   2   3   1   4    
  16384   2   1   3   4    
  32768   1   2   3   4    
  65536   2   4   1   3    
  131072   2   3   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  128    1   1   4 
  256    1   4   4 
  512    3   3   4 
  1024    3   4   4 
  2048    3   4   4 
  4096    3   4   4 
  8192    3   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:05:31 EDT.
86460 accesses since 1/2/96.