COMMTEST SP3-375 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM SP3-375 Winterhawk II SWAP Performance

(unordered swap of 2MB message using MPI within a node)

Date/Person: May 25, 2000 / P. Worley
Platform: IBM SP3 at Oak Ridge National Laboratory (eagle.ccs.ornl.gov):
     160 4-way Winterhawk II SMP nodes (375MHz POWER3 with 8MB L2 cache)
Environment: AIX 4.3.3;   PSSP 3.1.1
Communication Library: shared memory MPI within a node, MPI over the switch between nodes, using User Space protocol in both cases
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 1
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered simple swap
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 252.52 12.52 29.6%
1 iter. 347.62 13.25 35.9%
10 iter. 334.76 12.55 31.3%

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 295.62 12.83 20.9%
1 iter. 436.13 13.39 26.8%
10 iter. 443.10 13.04 17.4%
cache inv. w/overlap 301.32 13.22 21.9%
1 iter. w/overlap 428.21 14.33 25.0%
10 iter. w/overlap 441.68 12.93 19.3%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 308.50 12.17 26.0%
1 iter. 435.81 11.94 31.1%
10 iter. 445.08 12.13 25.0%
cache inv. w/overlap 306.31 12.58 25.4%
1 iter. w/overlap 437.05 12.30 30.9%
10 iter. w/overlap 447.69 12.21 25.0%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 298.23 13.96 24.4%
1 iter. 432.70 14.00 29.9%
10 iter. 444.54 13.85 25.3%
cache inv. w/overlap 308.35 14.30 27.5%
1 iter. w/overlap 436.64 14.66 30.9%
10 iter. w/overlap 465.64 14.08 28.1%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 297.15 21.82 4.8%
1 iter. 436.38 22.05 5.0%
10 iter. 441.44 22.13 7.6%
cache inv. w/overlap 303.75 12.69 6.2%
1 iter. w/overlap 439.59 12.66 5.9%
10 iter. w/overlap 460.60 12.38 9.9%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 297.15 23.37 4.9%
1 iter. 438.15 23.62 5.3%
10 iter. 438.94 23.83 8.7%
cache inv. w/overlap 304.52 14.33 6.4%
1 iter. w/overlap 436.58 14.58 4.9%
10 iter. w/overlap 458.35 13.93 8.6%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 303.75 12.08 24.4%
1 iter. 428.23 11.81 28.9%
10 iter. 442.83 11.83 24.0%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 297.17 27.02 5.3%
1 iter. 434.69 28.98 5.4%
10 iter. 439.54 26.73 9.1%
cache inv. w/overlap 298.23 26.82 6.0%
1 iter. w/overlap 433.92 30.81 4.4%
10 iter. w/overlap 437.76 26.80 8.6%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 296.16 31.30 4.4%
1 iter. 428.89 33.33 7.5%
10 iter. 443.54 32.88 8.6%
cache inv. w/overlap 302.07 31.82 5.4%
1 iter. w/overlap 433.15 33.70 3.2%
10 iter. w/overlap 445.95 32.61 9.1%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 300.72 33.02 5.6%
1 iter. 433.26 34.64 8.4%
10 iter. 441.21 34.26 7.0%
cache inv. w/overlap 316.94 34.61 9.4%
1 iter. w/overlap 436.11 36.37 6.7%
10 iter. w/overlap 467.20 38.86 9.5%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.7115e-02   2.6479e-05   154.69   0.30   0.37   0.80 
  4096   2.0928e-02   4.0875e-05   200.41   0.20   0.24   0.52 
  8192   2.0499e-02   8.0075e-05   204.61   0.09   0.10   0.14 
  16384   1.7736e-02   1.3856e-04   236.48   0.05   0.05   0.13 
  32768   1.6287e-02   2.5448e-04   257.53   0.04   0.03   0.14 
  65536   1.5027e-02   4.6959e-04   279.12   0.02   0.01   0.13 
  131072   1.4575e-02   9.1093e-04   287.78   0.03   0.02   0.14 
  262144   1.3596e-02   1.6995e-03   308.50   0.06   0.05   0.23 
  524288   1.4169e-02   3.5424e-03   296.01   0.03   0.01   0.22 
  1048576   1.4092e-02   7.0462e-03   297.63   0.06   0.01   0.56 
  2097152   1.4064e-02   1.4064e-02   298.23   0.08   0.01   0.68 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   2   1   0   3 
  4096   6   2   1   3   0 
  8192   4   5   7   1   6 
  16384   4   5   7   1   6 
  32768   4   5   1   7   2 
  65536   4   5   1   6   2 
  131072   4   1   5   7   9 
  262144   2   6   9   8   5 
  524288   5   3   6   1   8 
  1048576   2   9   4   6   8 
  2097152   3   7   5   6   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   3   5 
  4096    2   4   6 
  8192    1   2   10 
  16384    2   5   10 
  32768    2   9   10 
  65536    3   9   10 
  131072    3   9   10 
  262144    1   3   10 
  524288    9   9   10 
  1048576    9   9   9 
  2097152    5   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.2638e-02   2.2107e-05   185.28   0.40   0.45   1.01 
  4096   1.6591e-02   3.2404e-05   252.81   0.28   0.30   0.68 
  8192   1.5886e-02   6.2056e-05   264.02   0.13   0.16   0.21 
  16384   1.3095e-02   1.0230e-04   320.30   0.08   0.09   0.18 
  32768   1.1536e-02   1.8025e-04   363.58   0.06   0.05   0.19 
  65536   1.0669e-02   3.3342e-04   393.12   0.03   0.01   0.18 
  131072   1.0159e-02   6.3496e-04   412.85   0.06   0.07   0.19 
  262144   9.8527e-03   1.2316e-03   425.70   0.06   0.02   0.41 
  524288   9.7396e-03   2.4349e-03   430.65   0.05   0.02   0.24 
  1048576   9.6748e-03   4.8374e-03   433.53   0.09   0.01   0.80 
  2097152   9.5728e-03   9.5728e-03   438.15   0.11   0.01   0.97 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   2   1   3   0 
  4096   6   2   3   1   0 
  8192   4   5   1   7   6 
  16384   4   5   1   7   6 
  32768   5   4   7   1   6 
  65536   4   5   7   6   8 
  131072   5   4   1   7   3 
  262144   4   5   1   6   3 
  524288   5   1   6   9   2 
  1048576   4   9   2   6   7 
  2097152   5   4   1   2   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   2   5 
  4096    2   3   5 
  8192    1   2   10 
  16384    1   2   10 
  32768    2   6   10 
  65536    2   9   10 
  131072    3   4   10 
  262144    2   9   9 
  524288    4   7   10 
  1048576    2   9   9 
  2097152    5   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.0407e-02   1.9928e-05   205.54   0.44   0.50   1.12 
  4096   1.4348e-02   2.8023e-05   292.34   0.32   0.35   0.79 
  8192   1.4299e-02   5.5855e-05   293.33   0.13   0.17   0.22 
  16384   1.1481e-02   8.9692e-05   365.34   0.11   0.13   0.19 
  32768   1.1104e-02   1.7350e-04   377.72   0.05   0.05   0.16 
  65536   1.0691e-02   3.3408e-04   392.34   0.06   0.05   0.20 
  131072   9.9756e-03   6.2348e-04   420.46   0.06   0.04   0.26 
  262144   9.8845e-03   1.2356e-03   424.33   0.08   0.07   0.32 
  524288   9.9230e-03   2.4808e-03   422.68   0.07   0.05   0.27 
  1048576   9.9553e-03   4.9776e-03   421.31   0.09   0.02   0.77 
  2097152   9.4237e-03   9.4237e-03   445.08   0.10   0.01   0.94 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   2   3   1   0 
  4096   6   2   3   1   0 
  8192   4   5   1   7   6 
  16384   4   5   1   7   6 
  32768   4   5   1   7   2 
  65536   5   4   7   9   1 
  131072   6   8   2   9   3 
  262144   2   6   9   4   8 
  524288   2   4   1   9   6 
  1048576   3   2   1   4   6 
  2097152   2   3   8   1   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   2   5 
  4096    2   2   5 
  8192    1   2   10 
  16384    1   2   10 
  32768    1   6   10 
  65536    2   5   10 
  131072    3   6   9 
  262144    1   4   9 
  524288    1   5   9 
  1048576    2   9   9 
  2097152    7   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.7179e-02   2.6542e-05   154.32   0.25   0.08   0.86 
  4096   2.1021e-02   4.1056e-05   199.53   0.17   0.05   0.56 
  8192   1.8069e-02   7.0584e-05   232.12   0.22   0.25   0.32 
  16384   1.6449e-02   1.2851e-04   254.99   0.13   0.14   0.22 
  32768   1.5503e-02   2.4223e-04   270.55   0.08   0.09   0.20 
  65536   1.4301e-02   4.4690e-04   293.29   0.06   0.06   0.19 
  131072   1.3902e-02   8.6889e-04   301.70   0.06   0.05   0.19 
  262144   1.3603e-02   1.7003e-03   308.35   0.06   0.03   0.30 
  524288   1.3234e-02   3.3084e-03   316.94   0.08   0.07   0.30 
  1048576   1.3299e-02   6.6493e-03   315.40   0.11   0.06   0.65 
  2097152   1.3868e-02   1.3868e-02   302.45   0.08   0.01   0.71 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   2   4   1   0 
  4096   6   2   4   1   5 
  8192   4   5   1   7   6 
  16384   4   5   1   7   6 
  32768   4   5   1   6   7 
  65536   5   4   1   6   8 
  131072   4   5   1   2   3 
  262144   3   9   2   4   5 
  524288   9   2   5   4   6 
  1048576   9   4   5   3   8 
  2097152   6   8   1   4   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   7 
  4096    3   4   7 
  8192    1   2   4 
  16384    1   2   10 
  32768    2   2   10 
  65536    2   2   10 
  131072    1   3   10 
  262144    2   8   9 
  524288    1   3   9 
  1048576    1   4   9 
  2097152    5   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.2801e-02   2.2266e-05   183.96   0.34   0.10   1.09 
  4096   1.6467e-02   3.2162e-05   254.71   0.24   0.08   0.76 
  8192   1.3520e-02   5.2811e-05   310.24   0.31   0.36   0.44 
  16384   1.1859e-02   9.2647e-05   353.69   0.18   0.20   0.31 
  32768   1.0770e-02   1.6828e-04   389.44   0.12   0.12   0.28 
  65536   9.9585e-03   3.1120e-04   421.18   0.09   0.09   0.27 
  131072   9.6072e-03   6.0045e-04   436.58   0.10   0.10   0.27 
  262144   9.5414e-03   1.1927e-03   439.59   0.08   0.06   0.35 
  524288   9.5907e-03   2.3977e-03   437.33   0.05   0.03   0.29 
  1048576   9.5735e-03   4.7868e-03   438.12   0.10   0.02   0.82 
  2097152   9.5969e-03   9.5969e-03   437.05   0.12   0.02   0.98 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   2   4   5   3 
  4096   6   4   2   3   5 
  8192   4   5   1   7   6 
  16384   4   5   1   7   2 
  32768   4   5   1   7   6 
  65536   5   4   1   6   7 
  131072   5   4   1   7   2 
  262144   4   5   1   8   7 
  524288   4   8   3   7   1 
  1048576   4   9   2   7   3 
  2097152   2   3   7   5   8 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   3   7 
  4096    1   3   7 
  8192    1   2   2 
  16384    1   2   7 
  32768    1   2   9 
  65536    1   2   9 
  131072    1   2   9 
  262144    1   4   9 
  524288    1   8   9 
  1048576    3   9   9 
  2097152    5   8   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   2.0538e-02   2.0057e-05   204.22   0.35   0.11   1.26 
  4096   1.4406e-02   2.8137e-05   291.15   0.26   0.11   0.84 
  8192   1.2072e-02   4.7157e-05   347.43   0.31   0.38   0.46 
  16384   1.0820e-02   8.4533e-05   387.63   0.19   0.21   0.28 
  32768   1.0637e-02   1.6620e-04   394.33   0.10   0.10   0.22 
  65536   9.1061e-03   2.8457e-04   460.60   0.20   0.24   0.41 
  131072   9.7099e-03   6.0687e-04   431.96   0.08   0.04   0.30 
  262144   9.4918e-03   1.1865e-03   441.89   0.09   0.08   0.32 
  524288   8.9776e-03   2.2444e-03   467.20   0.13   0.13   0.36 
  1048576   9.8690e-03   4.9345e-03   425.00   0.10   0.02   0.77 
  2097152   9.3181e-03   9.3181e-03   450.12   0.11   0.02   0.94 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   2   4   1   5 
  4096   6   2   4   3   5 
  8192   4   5   7   1   6 
  16384   4   5   1   7   6 
  32768   4   5   1   7   6 
  65536   4   5   3   9   7 
  131072   4   8   5   2   6 
  262144   3   9   5   4   2 
  524288   9   3   2   5   8 
  1048576   3   4   9   5   2 
  2097152   6   2   3   8   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   3   7 
  4096    1   3   7 
  8192    1   2   2 
  16384    1   2   7 
  32768    1   2   10 
  65536    2   2   7 
  131072    1   7   9 
  262144    1   4   9 
  524288    2   2   9 
  1048576    1   9   9 
  2097152    4   9   9 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:17:38 EDT.
87171 accesses since 1/2/96.