PSTSWM AlphaSC-667 Point-to-Point Communication Performance

Performance Studies using

PSTSWM

Compaq AlphaServer SC SWAP Performance

(unordered swap of 2MB message using SHMEM within a node)

Date/Person: July 17, 2000 / P. Worley
Platform: Compaq AlphaServer SC at Oak Ridge National Laboratory (falcon.ccs.ornl.gov):
     64 ES40 4-way SMP nodes (667 MHz Alpha 21264a with 8MB L2 cache)
Environment: SC System v1.0; Digital UNIX V5.0;   RMS 2.37
Communication Library: SHMEM
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 1, both on the same node
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered swap using get
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 68.67 11.98 0.9%
1 iter. 68.67 12.33 1.3%
10 iter. 69.13 12.07 0.8%
cache inv. w/overlap 68.57 10.91 0.6%
1 iter. w/overlap 68.56 10.67 0.6%
10 iter. w/overlap 68.93 10.68 0.9%

unordered swap using put
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 68.64 13.24 1.1%
1 iter. 68.64 13.39 1.4%
10 iter. 69.09 13.20 0.9%
cache inv. w/overlap 68.58 12.19 0.5%
1 iter. w/overlap 68.60 12.10 0.3%
10 iter. w/overlap 68.90 12.29 0.6%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.2738e-02   7.1033e-05   57.66   0.01   0.02   0.02 
  4096   6.6602e-02   1.3008e-04   62.98   0.00   0.01   0.01 
  8192   6.4048e-02   2.5019e-04   65.49   0.00   0.00   0.00 
  16384   6.2549e-02   4.8867e-04   67.06   0.00   0.00   0.00 
  32768   6.1892e-02   9.6707e-04   67.77   0.00   0.00   0.00 
  65536   6.1506e-02   1.9221e-03   68.19   0.00   0.00   0.00 
  131072   6.1261e-02   3.8288e-03   68.47   0.00   0.00   0.00 
  262144   6.1102e-02   7.6378e-03   68.64   0.00   0.00   0.00 
  524288   6.1285e-02   1.5321e-02   68.44   0.00   0.00   0.00 
  1048576   6.1137e-02   3.0568e-02   68.61   0.00   0.00   0.00 
  2097152   6.1082e-02   6.1082e-02   68.67   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   2   1          
  131072   1   2          
  262144   2   1          
  524288   1   2          
  1048576   2   1          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.2859e-02   7.1151e-05   57.57   0.01   0.01   0.01 
  4096   6.6546e-02   1.2997e-04   63.03   0.00   0.01   0.01 
  8192   6.4111e-02   2.5043e-04   65.42   0.00   0.00   0.00 
  16384   6.2592e-02   4.8900e-04   67.01   0.00   0.00   0.00 
  32768   6.1930e-02   9.6765e-04   67.73   0.00   0.00   0.00 
  65536   6.1529e-02   1.9228e-03   68.17   0.00   0.00   0.00 
  131072   6.1287e-02   3.8304e-03   68.44   0.00   0.00   0.00 
  262144   6.1169e-02   7.6462e-03   68.57   0.00   0.00   0.00 
  524288   6.1306e-02   1.5326e-02   68.42   0.00   0.00   0.00 
  1048576   6.1165e-02   3.0583e-02   68.57   0.00   0.00   0.00 
  2097152   6.1080e-02   6.1080e-02   68.67   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   2   1          
  131072   1   2          
  262144   1   2          
  524288   2   1          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.2545e-02   7.0845e-05   57.82   0.01   0.01   0.01 
  4096   6.6364e-02   1.2962e-04   63.20   0.00   0.01   0.01 
  8192   6.3902e-02   2.4962e-04   65.64   0.00   0.00   0.00 
  16384   6.2497e-02   4.8826e-04   67.11   0.00   0.00   0.00 
  32768   6.1857e-02   9.6652e-04   67.81   0.00   0.00   0.00 
  65536   6.1437e-02   1.9199e-03   68.27   0.00   0.00   0.00 
  131072   6.1244e-02   3.8278e-03   68.49   0.00   0.00   0.00 
  262144   6.1096e-02   7.6370e-03   68.65   0.00   0.00   0.00 
  524288   6.1137e-02   1.5284e-02   68.61   0.00   0.00   0.00 
  1048576   6.1002e-02   3.0501e-02   68.76   0.00   0.00   0.00 
  2097152   6.0673e-02   6.0673e-02   69.13   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   1   2          
  131072   2   1          
  262144   2   1          
  524288   2   1          
  1048576   1   2          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.2264e-02   7.0571e-05   58.04   0.01   0.02   0.02 
  4096   6.6677e-02   1.3023e-04   62.91   0.00   0.01   0.01 
  8192   6.3790e-02   2.4918e-04   65.75   0.00   0.00   0.00 
  16384   6.2795e-02   4.9059e-04   66.79   0.00   0.00   0.00 
  32768   6.1937e-02   9.6777e-04   67.72   0.00   0.00   0.00 
  65536   6.1479e-02   1.9212e-03   68.22   0.00   0.00   0.00 
  131072   6.1309e-02   3.8318e-03   68.41   0.00   0.00   0.00 
  262144   6.1157e-02   7.6446e-03   68.58   0.00   0.00   0.00 
  524288   6.1372e-02   1.5343e-02   68.34   0.00   0.00   0.00 
  1048576   6.1214e-02   3.0607e-02   68.52   0.00   0.00   0.00 
  2097152   6.1167e-02   6.1167e-02   68.57   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   2   1          
  524288   1   2          
  1048576   2   1          
  2097152   1   2          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.2228e-02   7.0535e-05   58.07   0.01   0.02   0.02 
  4096   6.6764e-02   1.3040e-04   62.82   0.00   0.01   0.01 
  8192   6.3808e-02   2.4925e-04   65.73   0.00   0.00   0.00 
  16384   6.2902e-02   4.9142e-04   66.68   0.00   0.00   0.00 
  32768   6.1921e-02   9.6751e-04   67.74   0.00   0.00   0.00 
  65536   6.1523e-02   1.9226e-03   68.17   0.00   0.00   0.00 
  131072   6.1325e-02   3.8328e-03   68.40   0.00   0.00   0.00 
  262144   6.1203e-02   7.6503e-03   68.53   0.00   0.00   0.00 
  524288   6.1289e-02   1.5322e-02   68.44   0.00   0.00   0.00 
  1048576   6.1219e-02   3.0609e-02   68.51   0.00   0.00   0.00 
  2097152   6.1140e-02   6.1140e-02   68.60   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   2   1          
  32768   1   2          
  65536   1   2          
  131072   2   1          
  262144   2   1          
  524288   2   1          
  1048576   2   1          
  2097152   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    2   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   7.1974e-02   7.0287e-05   58.28   0.01   0.02   0.02 
  4096   6.6507e-02   1.2990e-04   63.07   0.01   0.01   0.01 
  8192   6.3610e-02   2.4848e-04   65.94   0.00   0.01   0.01 
  16384   6.2811e-02   4.9071e-04   66.78   0.00   0.00   0.00 
  32768   6.1835e-02   9.6617e-04   67.83   0.00   0.00   0.00 
  65536   6.1439e-02   1.9200e-03   68.27   0.00   0.00   0.00 
  131072   6.1230e-02   3.8269e-03   68.50   0.00   0.00   0.00 
  262144   6.1133e-02   7.6416e-03   68.61   0.00   0.00   0.00 
  524288   6.1087e-02   1.5272e-02   68.66   0.00   0.00   0.00 
  1048576   6.0849e-02   3.0425e-02   68.93   0.00   0.00   0.00 
  2097152   6.0874e-02   6.0874e-02   68.90   0.00   0.00   0.00 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   1   2          
  4096   1   2          
  8192   1   2          
  16384   1   2          
  32768   1   2          
  65536   1   2          
  131072   1   2          
  262144   1   2          
  524288   1   2          
  1048576   1   2          
  2097152   2   1          
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   2 
  4096    1   2   2 
  8192    2   2   2 
  16384    2   2   2 
  32768    2   2   2 
  65536    2   2   2 
  131072    2   2   2 
  262144    2   2   2 
  524288    2   2   2 
  1048576    2   2   2 
  2097152    2   2   2 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:03:47 EDT.
86194 accesses since 1/2/96.