COMMTEST SP3-375 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM SP3-375 Winterhawk II SWAP Performance

(unordered swap of 2MB message using MPI between two nodes)

Date/Person: May 25, 2000 / P. Worley
Platform: IBM SP3 at Oak Ridge National Laboratory (eagle.ccs.ornl.gov):
     160 4-way Winterhawk II SMP nodes (375MHz POWER3 with 8MB L2 cache)
Environment: AIX 4.3.3;   PSSP 3.1.1
Communication Library: shared memory MPI within a node, MPI over the switch between nodes, using User Space protocol in both cases
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

unordered simple swap
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 88.96 45.72 91.3%
1 iter. 157.62 32.56 31.9%
10 iter. 172.77 32.53 32.8%

unordered swap using nonblocking send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 98.54 46.84 29.8%
1 iter. 176.19 35.06 34.0%
10 iter. 189.26 33.79 35.4%
cache inv. w/overlap 98.55 48.97 30.7%
1 iter. w/overlap 177.08 35.22 34.3%
10 iter. w/overlap 189.40 32.87 36.4%

unordered swap using nonblocking receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 100.98 46.35 44.9%
1 iter. 176.37 33.51 44.3%
10 iter. 188.65 33.18 42.7%
cache inv. w/overlap 99.78 46.61 44.2%
1 iter. w/overlap 170.12 36.57 44.8%
10 iter. w/overlap 179.34 32.54 40.9%

unordered swap using nonblocking send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 98.81 50.44 40.6%
1 iter. 172.95 35.36 39.0%
10 iter. 167.50 35.59 36.9%
cache inv. w/overlap 97.73 46.47 48.9%
1 iter. w/overlap 176.40 36.60 52.5%
10 iter. w/overlap 171.79 35.33 50.2%

unordered swap using ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 98.86 78.14 13.3%
1 iter. 177.38 59.86 13.2%
10 iter. 187.82 62.61 11.6%
cache inv. w/overlap 98.74 50.16 14.6%
1 iter. w/overlap 178.75 35.79 17.3%
10 iter. w/overlap 192.17 32.95 16.5%

unordered swap using nonblocking ready send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 99.60 80.73 13.7%
1 iter. 176.29 66.55 12.3%
10 iter. 189.34 62.86 12.3%
cache inv. w/overlap 98.94 46.05 18.6%
1 iter. w/overlap 175.28 37.58 14.6%
10 iter. w/overlap 190.54 34.54 16.2%

native sendrecv
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 99.52 45.18 45.2%
1 iter. 176.32 34.94 42.9%
10 iter. 182.07 31.99 42.4%

unordered swap using nonblocking sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 98.81 101.40 12.7%
1 iter. 178.98 73.94 16.5%
10 iter. 187.51 76.08 12.9%
cache inv. w/overlap 98.46 94.60 15.6%
1 iter. w/overlap 176.23 82.87 12.4%
10 iter. w/overlap 190.05 77.57 13.5%

unordered swap using nonblocking receive with sync. send
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 98.94 135.29 27.4%
1 iter. 177.47 72.02 33.0%
10 iter. 178.83 73.64 31.2%
cache inv. w/overlap 99.03 123.48 25.5%
1 iter. w/overlap 175.17 95.21 28.0%
10 iter. w/overlap 168.24 80.12 25.8%

unordered swap using nonblocking sync. send and receive
Data Statistics
bidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 99.63 124.75 30.2%
1 iter. 176.53 100.80 28.9%
10 iter. 190.21 95.29 30.9%
cache inv. w/overlap 99.34 133.55 29.5%
1 iter. w/overlap 177.89 101.60 32.2%
10 iter. w/overlap 167.15 94.52 26.9%

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   1.0085e-01   9.8491e-05   41.59   0.34   0.31   1.08 
  4096   7.7360e-02   1.5109e-04   54.22   0.25   0.19   0.85 
  8192   7.0667e-02   2.7604e-04   59.35   0.22   0.32   0.39 
  16384   5.7166e-02   4.4661e-04   73.37   0.11   0.15   0.21 
  32768   5.4713e-02   8.5489e-04   76.66   0.14   0.17   0.31 
  65536   4.9060e-02   1.5331e-03   85.49   0.07   0.09   0.14 
  131072   4.1535e-02   2.5959e-03   100.98   0.13   0.15   0.21 
  262144   4.3537e-02   5.4421e-03   96.34   0.04   0.05   0.10 
  524288   4.2854e-02   1.0714e-02   97.87   0.03   0.03   0.10 
  1048576   4.2112e-02   2.1056e-02   99.60   1.19   0.01   11.82 
  2097152   4.2100e-02   4.2100e-02   99.63   0.05   0.01   0.42 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   2   1   0   3 
  4096   2   1   6   3   0 
  8192   5   4   1   7   0 
  16384   4   5   1   7   0 
  32768   4   5   7   1   0 
  65536   4   5   1   7   0 
  131072   2   4   5   1   7 
  262144   4   5   7   1   8 
  524288   4   9   5   1   7 
  1048576   5   4   3   7   1 
  2097152   9   6   5   8   4 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   5   5 
  4096    4   5   7 
  8192    2   2   5 
  16384    2   2   10 
  32768    2   4   7 
  65536    2   5   10 
  131072    1   1   10 
  262144    1   6   10 
  524288    4   9   10 
  1048576    4   9   9 
  2097152    7   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   6.5587e-02   6.4050e-05   63.95   0.36   0.40   1.08 
  4096   4.8547e-02   9.4818e-05   86.40   0.27   0.26   0.84 
  8192   4.4778e-02   1.7491e-04   93.67   0.16   0.20   0.30 
  16384   3.5038e-02   2.7373e-04   119.71   0.08   0.10   0.14 
  32768   3.1667e-02   4.9479e-04   132.45   0.18   0.28   0.34 
  65536   2.8552e-02   8.9224e-04   146.90   0.10   0.07   0.25 
  131072   2.6101e-02   1.6313e-03   160.69   0.06   0.03   0.20 
  262144   2.4984e-02   3.1230e-03   167.88   0.05   0.02   0.17 
  524288   2.4199e-02   6.0497e-03   173.33   0.02   0.02   0.10 
  1048576   2.3634e-02   1.1817e-02   177.47   0.11   0.03   0.33 
  2097152   2.3435e-02   2.3435e-02   178.98   0.05   0.02   0.32 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   2   6   1   3 
  4096   6   1   0   2   3 
  8192   4   5   7   1   0 
  16384   4   5   1   7   9 
  32768   4   5   1   7   0 
  65536   4   5   7   1   3 
  131072   4   5   1   3   9 
  262144   4   2   9   5   1 
  524288   5   2   8   7   1 
  1048576   8   5   4   1   7 
  2097152   7   4   8   9   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   5   5 
  4096    3   5   5 
  8192    2   2   8 
  16384    2   2   10 
  32768    2   3   5 
  65536    1   4   9 
  131072    1   7   10 
  262144    4   6   10 
  524288    3   9   10 
  1048576    2   6   8 
  2097152    2   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   6.2797e-02   6.1325e-05   66.79   0.37   0.45   1.06 
  4096   4.6336e-02   9.0499e-05   90.52   0.26   0.27   0.75 
  8192   4.2789e-02   1.6714e-04   98.02   0.17   0.25   0.28 
  16384   3.3019e-02   2.5796e-04   127.03   0.07   0.09   0.11 
  32768   2.9780e-02   4.6532e-04   140.84   0.20   0.36   0.37 
  65536   2.6863e-02   8.3947e-04   156.14   0.12   0.21   0.24 
  131072   2.4486e-02   1.5304e-03   171.30   0.10   0.16   0.21 
  262144   2.3407e-02   2.9258e-03   179.19   0.08   0.08   0.20 
  524288   2.2700e-02   5.6749e-03   184.77   0.06   0.07   0.17 
  1048576   2.2331e-02   1.1166e-02   187.82   0.09   0.09   0.28 
  2097152   2.2051e-02   2.2051e-02   190.21   0.10   0.02   0.37 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   2   0   1   3 
  4096   2   6   1   0   3 
  8192   4   5   1   7   0 
  16384   4   5   7   1   8 
  32768   4   5   7   1   0 
  65536   4   5   1   7   0 
  131072   4   5   7   1   0 
  262144   4   5   7   1   0 
  524288   5   4   1   7   6 
  1048576   4   1   7   5   8 
  2097152   9   5   1   2   4 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    2   5   5 
  4096    3   5   5 
  8192    2   2   6 
  16384    2   2   10 
  32768    2   4   5 
  65536    2   4   10 
  131072    4   4   10 
  262144    4   4   10 
  524288    4   5   10 
  1048576    3   4   9 
  2097152    4   6   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   1.0132e-01   9.8943e-05   41.40   0.27   0.03   1.02 
  4096   7.6769e-02   1.4994e-04   54.64   0.21   0.03   0.85 
  8192   6.3916e-02   2.4967e-04   65.62   0.36   0.49   0.70 
  16384   5.3553e-02   4.1838e-04   78.32   0.20   0.19   0.44 
  32768   5.2687e-02   8.2323e-04   79.61   0.16   0.18   0.31 
  65536   4.8593e-02   1.5185e-03   86.31   0.11   0.14   0.22 
  131072   4.5101e-02   2.8188e-03   93.00   0.07   0.08   0.13 
  262144   4.3682e-02   5.4602e-03   96.02   0.04   0.02   0.13 
  524288   4.2883e-02   1.0721e-02   97.81   0.02   0.01   0.11 
  1048576   4.2393e-02   2.1197e-02   98.94   0.04   0.01   0.26 
  2097152   4.2035e-02   4.2035e-02   99.78   0.05   0.01   0.43 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   0   2   3   4 
  4096   6   4   0   2   1 
  8192   5   4   7   0   1 
  16384   4   5   1   7   0 
  32768   4   5   7   1   0 
  65536   4   5   1   7   0 
  131072   4   5   7   1   8 
  262144   4   5   2   1   9 
  524288   2   5   4   7   6 
  1048576   5   7   9   4   1 
  2097152   2   9   8   4   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    3   7   7 
  4096    2   6   7 
  8192    1   2   5 
  16384    2   2   7 
  32768    1   2   6 
  65536    2   4   10 
  131072    2   4   10 
  262144    2   6   10 
  524288    5   9   10 
  1048576    4   8   9 
  2097152    3   9   9 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   6.5874e-02   6.4330e-05   63.67   0.29   0.04   1.03 
  4096   4.8675e-02   9.5069e-05   86.17   0.19   0.03   0.68 
  8192   3.9211e-02   1.5317e-04   106.97   0.39   0.44   0.78 
  16384   3.1869e-02   2.4897e-04   131.61   0.26   0.20   0.71 
  32768   2.8583e-02   4.4661e-04   146.74   0.30   0.46   0.55 
  65536   2.6717e-02   8.3489e-04   156.99   0.18   0.23   0.36 
  131072   2.5539e-02   1.5962e-03   164.23   0.09   0.07   0.28 
  262144   2.4581e-02   3.0726e-03   170.64   0.06   0.04   0.27 
  524288   2.4434e-02   6.1086e-03   171.66   0.06   0.01   0.26 
  1048576   2.3780e-02   1.1890e-02   176.38   0.08   0.03   0.30 
  2097152   2.3465e-02   2.3465e-02   178.75   0.08   0.02   0.34 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   6   1   0   2   4 
  4096   2   6   1   0   4 
  8192   5   4   1   7   0 
  16384   4   5   7   1   2 
  32768   5   4   1   7   0 
  65536   5   4   1   7   0 
  131072   4   5   8   7   1 
  262144   5   4   6   2   3 
  524288   7   5   3   4   2 
  1048576   4   9   7   5   3 
  2097152   4   9   1   3   7 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   6   7 
  4096    2   7   7 
  8192    2   2   2 
  16384    2   2   7 
  32768    2   2   5 
  65536    2   2   6 
  131072    2   5   9 
  262144    2   7   9 
  524288    6   7   9 
  1048576    1   7   9 
  2097152    3   8   8 

Protocol Sensitivity Summary for Bidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   6.3098e-02   6.1619e-05   66.47   0.27   0.03   1.03 
  4096   4.6244e-02   9.0321e-05   90.70   0.19   0.02   0.73 
  8192   3.6227e-02   1.4151e-04   115.78   0.41   0.46   0.85 
  16384   2.9633e-02   2.3151e-04   141.54   0.24   0.22   0.55 
  32768   2.6309e-02   4.1107e-04   159.43   0.35   0.53   0.62 
  65536   2.5125e-02   7.8515e-04   166.94   0.22   0.29   0.44 
  131072   2.3641e-02   1.4776e-03   177.41   0.17   0.23   0.39 
  262144   2.2868e-02   2.8585e-03   183.41   0.13   0.12   0.32 
  524288   2.2518e-02   5.6294e-03   186.27   0.09   0.08   0.34 
  1048576   2.2081e-02   1.1040e-02   189.95   0.10   0.09   0.30 
  2097152   2.1826e-02   2.1826e-02   192.17   0.16   0.23   0.39 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   2   4   1   6   0 
  4096   4   6   1   2   0 
  8192   4   5   7   1   0 
  16384   4   5   1   7   2 
  32768   4   5   7   1   0 
  65536   4   5   7   1   0 
  131072   4   5   1   7   0 
  262144   5   4   1   7   0 
  524288   5   4   7   1   2 
  1048576   5   4   7   1   6 
  2097152   4   5   7   1   6 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    4   7   7 
  4096    4   7   7 
  8192    1   2   2 
  16384    1   2   7 
  32768    2   2   5 
  65536    2   2   5 
  131072    2   4   7 
  262144    2   4   8 
  524288    2   5   9 
  1048576    2   5   9 
  2097152    2   4   6 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:18:42 EDT.
86767 accesses since 1/2/96.