PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(ordered swap of 2MB message using SHMEM between two nodes)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 169.84 10.10 1.5%
1 iter. 167.69 9.54 0.7%
10 iter. 170.46 9.67 1.0%
cache inv. w/overlap 168.93 10.65 1.5%
1 iter. w/overlap 168.54 11.03 3.2%
10 iter. w/overlap 170.47 11.12 4.5%

ordered swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 169.92 10.43 1.4%
1 iter. 168.61 10.33 1.7%
10 iter. 170.54 9.94 1.5%
cache inv. w/overlap 169.14 11.09 2.0%
1 iter. w/overlap 167.66 11.27 3.7%
10 iter. w/overlap 170.36 10.93 3.3%

ordered synchronous swap using get
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 168.95 10.61 2.9%
1 iter. 168.56 9.79 1.3%
10 iter. 170.72 9.85 0.5%
cache inv. w/overlap 169.80 11.59 6.2%
1 iter. w/overlap 168.79 11.22 4.3%
10 iter. w/overlap 170.50 11.14 4.6%

ordered synchronous swap using put
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 169.98 10.43 1.7%
1 iter. 167.77 10.62 1.2%
10 iter. 170.12 10.53 1.1%
cache inv. w/overlap 169.11 11.36 2.8%
1 iter. w/overlap 167.82 11.41 2.7%
10 iter. w/overlap 170.20 11.76 4.4%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.4851e-02   4.3800e-05   93.52   0.02   0.03   0.04 
  4096   3.4509e-02   6.7401e-05   121.54   0.02   0.03   0.04 
  8192   2.9807e-02   1.1644e-04   140.71   0.01   0.01   0.02 
  16384   2.7002e-02   2.1095e-04   155.33   0.01   0.01   0.01 
  32768   2.6208e-02   4.0950e-04   160.04   0.00   0.00   0.00 
  65536   2.5307e-02   7.9083e-04   165.74   0.01   0.01   0.01 
  131072   2.4989e-02   1.5618e-03   167.85   0.00   0.01   0.01 
  262144   2.4863e-02   3.1079e-03   168.70   0.00   0.00   0.01 
  524288   2.4684e-02   6.1709e-03   169.92   0.01   0.01   0.02 
  1048576   2.4675e-02   1.2337e-02   169.98   0.00   0.00   0.01 
  2097152   2.4825e-02   2.4825e-02   168.95   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   2   3   4    
  16384   1   2   3   4    
  32768   1   2   4   3    
  65536   1   4   3   2    
  131072   4   2   3   1    
  262144   1   3   2   4    
  524288   2   4   1   3    
  1048576   4   1   2   3    
  2097152   3   1   4   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   4 
  4096    2   4   4 
  8192    2   4   4 
  16384    2   4   4 
  32768    4   4   4 
  65536    2   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    3   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.4752e-02   4.3703e-05   93.72   0.02   0.03   0.04 
  4096   3.4979e-02   6.8318e-05   119.91   0.01   0.01   0.02 
  8192   2.9718e-02   1.1609e-04   141.14   0.01   0.01   0.02 
  16384   2.7156e-02   2.1215e-04   154.45   0.01   0.01   0.01 
  32768   2.6259e-02   4.1029e-04   159.73   0.00   0.00   0.00 
  65536   2.5515e-02   7.9733e-04   164.39   0.00   0.00   0.01 
  131072   2.5244e-02   1.5778e-03   166.15   0.00   0.00   0.01 
  262144   2.5001e-02   3.1251e-03   167.77   0.00   0.01   0.01 
  524288   2.4883e-02   6.2208e-03   168.56   0.00   0.01   0.01 
  1048576   2.4875e-02   1.2438e-02   168.61   0.00   0.01   0.01 
  2097152   2.5029e-02   2.5029e-02   167.58   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   2   1   4   3    
  32768   2   3   1   4    
  65536   1   2   3   4    
  131072   1   3   4   2    
  262144   4   2   1   3    
  524288   3   2   1   4    
  1048576   2   3   1   4    
  2097152   3   1   4   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   4 
  4096    1   4   4 
  8192    3   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    3   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.4311e-02   4.3272e-05   94.66   0.02   0.03   0.04 
  4096   3.4411e-02   6.7209e-05   121.89   0.02   0.03   0.03 
  8192   2.9331e-02   1.1457e-04   143.00   0.01   0.01   0.01 
  16384   2.6825e-02   2.0957e-04   156.36   0.00   0.01   0.01 
  32768   2.5870e-02   4.0422e-04   162.13   0.00   0.00   0.01 
  65536   2.5240e-02   7.8876e-04   166.18   0.00   0.00   0.01 
  131072   2.4910e-02   1.5569e-03   168.38   0.00   0.00   0.00 
  262144   2.4715e-02   3.0893e-03   169.71   0.00   0.00   0.01 
  524288   2.4605e-02   6.1514e-03   170.46   0.00   0.00   0.01 
  1048576   2.4652e-02   1.2326e-02   170.14   0.00   0.00   0.01 
  2097152   2.4568e-02   2.4568e-02   170.72   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   1   3   2   4    
  8192   1   3   2   4    
  16384   1   3   2   4    
  32768   3   2   1   4    
  65536   3   4   1   2    
  131072   2   4   3   1    
  262144   4   2   3   1    
  524288   1   2   4   3    
  1048576   3   4   1   2    
  2097152   3   2   1   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   4 
  4096    1   4   4 
  8192    1   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.6303e-02   4.5218e-05   90.58   0.01   0.01   0.02 
  4096   3.4433e-02   6.7251e-05   121.81   0.02   0.03   0.03 
  8192   3.0137e-02   1.1772e-04   139.17   0.00   0.00   0.01 
  16384   2.7144e-02   2.1206e-04   154.52   0.01   0.01   0.01 
  32768   2.6098e-02   4.0777e-04   160.72   0.00   0.00   0.00 
  65536   2.5398e-02   7.9369e-04   165.14   0.00   0.00   0.01 
  131072   2.4993e-02   1.5620e-03   167.82   0.01   0.01   0.01 
  262144   2.4934e-02   3.1167e-03   168.22   0.00   0.00   0.00 
  524288   2.4798e-02   6.1995e-03   169.14   0.00   0.00   0.01 
  1048576   2.4702e-02   1.2351e-02   169.80   0.01   0.01   0.02 
  2097152   2.5031e-02   2.5031e-02   167.57   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   1   2   4    
  4096   3   1   4   2    
  8192   1   3   2   4    
  16384   1   3   4   2    
  32768   2   4   3   1    
  65536   4   1   3   2    
  131072   1   4   2   3    
  262144   1   2   4   3    
  524288   2   4   1   3    
  1048576   3   2   4   1    
  2097152   2   1   3   4    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   4   4 
  4096    1   4   4 
  8192    4   4   4 
  16384    3   4   4 
  32768    4   4   4 
  65536    3   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    1   4   4 
  2097152    4   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.6325e-02   4.5239e-05   90.54   0.01   0.01   0.02 
  4096   3.4836e-02   6.8040e-05   120.40   0.01   0.01   0.03 
  8192   2.9858e-02   1.1663e-04   140.48   0.01   0.01   0.02 
  16384   2.7369e-02   2.1382e-04   153.25   0.00   0.00   0.01 
  32768   2.6149e-02   4.0858e-04   160.40   0.01   0.01   0.01 
  65536   2.5630e-02   8.0095e-04   163.65   0.00   0.00   0.01 
  131072   2.5017e-02   1.5636e-03   167.66   0.01   0.01   0.01 
  262144   2.5041e-02   3.1301e-03   167.50   0.00   0.00   0.00 
  524288   2.5002e-02   6.2505e-03   167.76   0.00   0.00   0.00 
  1048576   2.4886e-02   1.2443e-02   168.54   0.00   0.00   0.01 
  2097152   2.4849e-02   2.4849e-02   168.79   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   3   1   2   4    
  4096   3   1   2   4    
  8192   1   3   2   4    
  16384   4   1   3   2    
  32768   3   1   4   2    
  65536   4   2   1   3    
  131072   2   4   3   1    
  262144   2   4   3   1    
  524288   1   2   4   3    
  1048576   1   4   3   2    
  2097152   3   1   4   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   4   4 
  4096    2   4   4 
  8192    2   4   4 
  16384    4   4   4 
  32768    3   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    2   4   4 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   4.5837e-02   4.4763e-05   91.50   0.01   0.00   0.03 
  4096   3.4432e-02   6.7250e-05   121.81   0.01   0.01   0.02 
  8192   2.9674e-02   1.1591e-04   141.35   0.00   0.00   0.01 
  16384   2.7010e-02   2.1102e-04   155.28   0.00   0.00   0.01 
  32768   2.5921e-02   4.0502e-04   161.81   0.00   0.00   0.01 
  65536   2.5265e-02   7.8954e-04   166.01   0.00   0.00   0.00 
  131072   2.4960e-02   1.5600e-03   168.04   0.00   0.00   0.00 
  262144   2.4647e-02   3.0808e-03   170.18   0.00   0.00   0.00 
  524288   2.4639e-02   6.1598e-03   170.23   0.00   0.00   0.00 
  1048576   2.4620e-02   1.2310e-02   170.36   0.00   0.00   0.00 
  2097152   2.4599e-02   2.4599e-02   170.50   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   3   2   4    
  4096   3   1   2   4    
  8192   1   3   2   4    
  16384   3   2   1   4    
  32768   2   1   4   3    
  65536   2   3   4   1    
  131072   4   1   3   2    
  262144   2   1   4   3    
  524288   3   4   1   2    
  1048576   2   4   1   3    
  2097152   3   1   4   2    
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   4   4 
  4096    3   4   4 
  8192    4   4   4 
  16384    4   4   4 
  32768    4   4   4 
  65536    4   4   4 
  131072    4   4   4 
  262144    4   4   4 
  524288    4   4   4 
  1048576    4   4   4 
  2097152    4   4   4 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:05:25 EDT.
86652 accesses since 1/2/96.