PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 8KB message using SHMEM between two nodes)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 1024 REAL*8 floating point values each direction
Message size: Largest - 1024 REAL*8 floating point values
Smallest - 1 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 118.72 12.56 12.3%
1 iter. 118.90 13.04 18.9%
10 iter. 139.39 13.01 11.1%
cache inv. w/overlap 116.53 10.61 8.6%
1 iter. w/overlap 131.07 10.82 8.7%
10 iter. w/overlap 138.73 10.95 11.4%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 113.31 11.74 10.1%
1 iter. 119.94 11.17 79.7%
10 iter. 125.11 11.14 8.5%
cache inv. w/overlap 116.36 8.81 8.2%
1 iter. w/overlap 122.63 9.02 81.0%
10 iter. w/overlap 128.10 9.25 7.2%

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.1731e-02   1.1456e-05   1.40   0.07   0.14   0.14 
  16   5.7224e-03   1.1177e-05   2.86   0.11   0.21   0.21 
  32   2.8608e-03   1.1175e-05   5.73   0.08   0.17   0.17 
  64   1.5006e-03   1.1723e-05   10.92   0.07   0.13   0.13 
  128   8.3820e-04   1.3097e-05   19.55   0.08   0.16   0.16 
  256   5.0600e-04   1.5813e-05   32.38   0.06   0.11   0.11 
  512   3.2520e-04   2.0325e-05   50.38   0.01   0.02   0.02 
  1024   2.2100e-04   2.7625e-05   74.14   0.02   0.03   0.03 
  2048   1.6940e-04   4.2350e-05   96.72   0.03   0.06   0.06 
  4096   1.4520e-04   7.2600e-05   112.84   0.04   0.09   0.09 
  8192   1.3800e-04   1.3800e-04   118.72   0.02   0.05   0.05 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   2   1          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   2   2 
  1024    1   2   2 
  2048    1   1   2 
  4096    1   1   2 
  8192    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.1441e-02   1.1173e-05   1.43   0.08   0.16   0.16 
  16   5.7220e-03   1.1176e-05   2.86   0.08   0.16   0.16 
  32   2.8498e-03   1.1132e-05   5.75   0.08   0.17   0.17 
  64   1.4746e-03   1.1520e-05   11.11   0.05   0.10   0.10 
  128   8.0340e-04   1.2553e-05   20.39   0.09   0.17   0.17 
  256   4.9900e-04   1.5594e-05   32.83   0.04   0.09   0.09 
  512   3.2920e-04   2.0575e-05   49.77   1.86   3.73   3.73 
  1024   2.1440e-04   2.6800e-05   76.42   0.00   0.01   0.01 
  2048   1.6260e-04   4.0650e-05   100.76   0.04   0.07   0.07 
  4096   1.3780e-04   6.8900e-05   118.90   0.03   0.07   0.07 
  8192   1.3660e-04   1.3660e-04   119.94   0.01   0.02   0.02 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   2   1          
  2048   1   2          
  4096   1   2          
  8192   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   1   1 
  1024    2   2   2 
  2048    1   1   2 
  4096    1   1   2 
  8192    1   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   1.1400e-02   1.1133e-05   1.44   0.08   0.17   0.17 
  16   5.6989e-03   1.1131e-05   2.87   0.09   0.17   0.17 
  32   2.8401e-03   1.1094e-05   5.77   0.08   0.17   0.17 
  64   1.4609e-03   1.1413e-05   11.22   0.07   0.14   0.14 
  128   8.0554e-04   1.2587e-05   20.34   0.09   0.17   0.17 
  256   4.9318e-04   1.5412e-05   33.22   0.04   0.08   0.08 
  512   3.1046e-04   1.9404e-05   52.77   0.02   0.03   0.03 
  1024   2.0970e-04   2.6213e-05   78.13   0.00   0.00   0.00 
  2048   1.5400e-04   3.8500e-05   106.39   0.03   0.06   0.06 
  4096   1.2924e-04   6.4620e-05   126.77   0.06   0.11   0.11 
  8192   1.1754e-04   1.1754e-04   139.39   0.06   0.11   0.11 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   2   1          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   2 
  128    1   1   2 
  256    1   1   2 
  512    1   2   2 
  1024    2   2   2 
  2048    1   1   2 
  4096    1   1   2 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.4210e-03   9.2002e-06   1.74   0.09   0.19   0.19 
  16   4.9088e-03   9.5875e-06   3.34   0.09   0.18   0.18 
  32   2.3154e-03   9.0445e-06   7.08   0.10   0.21   0.21 
  64   1.2374e-03   9.6672e-06   13.24   0.16   0.31   0.31 
  128   6.9680e-04   1.0888e-05   23.51   0.14   0.29   0.29 
  256   4.3860e-04   1.3706e-05   37.36   0.08   0.17   0.17 
  512   3.0020e-04   1.8762e-05   54.58   0.04   0.07   0.07 
  1024   2.1780e-04   2.7225e-05   75.22   0.02   0.04   0.04 
  2048   1.6860e-04   4.2150e-05   97.18   0.01   0.02   0.02 
  4096   1.4640e-04   7.3200e-05   111.91   0.01   0.02   0.02 
  8192   1.4060e-04   1.4060e-04   116.53   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   2   1          
  1024   2   1          
  2048   1   2          
  4096   2   1          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   1 
  128    1   1   1 
  256    1   1   2 
  512    1   1   2 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.2634e-03   9.0463e-06   1.77   0.10   0.20   0.20 
  16   4.6436e-03   9.0695e-06   3.53   0.10   0.21   0.21 
  32   2.3130e-03   9.0352e-06   7.08   0.10   0.20   0.20 
  64   1.2174e-03   9.5109e-06   13.46   0.17   0.35   0.35 
  128   6.9000e-04   1.0781e-05   23.74   0.14   0.28   0.28 
  256   4.3520e-04   1.3600e-05   37.65   0.08   0.15   0.15 
  512   3.0580e-04   1.9113e-05   53.58   1.89   3.78   3.78 
  1024   2.0620e-04   2.5775e-05   79.46   0.01   0.02   0.02 
  2048   1.5760e-04   3.9400e-05   103.96   0.01   0.02   0.02 
  4096   1.3620e-04   6.8100e-05   120.29   0.01   0.02   0.02 
  8192   1.2500e-04   1.2500e-04   131.07   0.03   0.07   0.07 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   1   2          
  1024   2   1          
  2048   2   1          
  4096   2   1          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   1 
  128    1   1   1 
  256    1   1   2 
  512    1   1   1 
  1024    1   2   2 
  2048    1   2   2 
  4096    1   2   2 
  8192    1   1   2 

Protocol Sensitivity Summary for Bidirectional Swap of 8192 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  8   9.4664e-03   9.2446e-06   1.73   0.09   0.19   0.19 
  16   4.7302e-03   9.2386e-06   3.46   0.10   0.19   0.19 
  32   2.3745e-03   9.2753e-06   6.90   0.09   0.17   0.17 
  64   1.2494e-03   9.7608e-06   13.11   0.16   0.32   0.32 
  128   6.9398e-04   1.0843e-05   23.61   0.13   0.25   0.25 
  256   4.2564e-04   1.3301e-05   38.49   0.08   0.17   0.17 
  512   2.8572e-04   1.7857e-05   57.34   0.01   0.03   0.03 
  1024   1.9918e-04   2.4898e-05   82.26   0.01   0.01   0.01 
  2048   1.4874e-04   3.7185e-05   110.15   0.03   0.07   0.07 
  4096   1.2572e-04   6.2860e-05   130.32   0.05   0.09   0.09 
  8192   1.1810e-04   1.1810e-04   138.73   0.04   0.08   0.08 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  8   2   1          
  16   2   1          
  32   2   1          
  64   2   1          
  128   2   1          
  256   2   1          
  512   2   1          
  1024   1   2          
  2048   1   2          
  4096   1   2          
  8192   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  8    1   1   2 
  16    1   1   2 
  32    1   1   2 
  64    1   1   1 
  128    1   1   1 
  256    1   1   2 
  512    1   2   2 
  1024    1   2   2 
  2048    1   1   2 
  4096    1   1   2 
  8192    1   1   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:05:17 EDT.
86940 accesses since 1/2/96.