COMMTEST SP3-375 Point-to-Point Communication Performance

Performance Studies using

COMMTEST

IBM SP3-375 Winterhawk II SWAP Performance

(ordered swap of 2MB message using MPI between two nodes)

Date/Person: May 25, 2000 / P. Worley
Platform: IBM SP3 at Oak Ridge National Laboratory (eagle.ccs.ornl.gov):
     160 4-way Winterhawk II SMP nodes (375MHz POWER3 with 8MB L2 cache)
Environment: AIX 4.3.3;   PSSP 3.1.1
Communication Library: shared memory MPI within a node, MPI over the switch between nodes, using User Space protocol in both cases
SWAP size: 262144 REAL*8 floating point values each direction
Message size: Largest - 262144 REAL*8 floating point values
Smallest - 256 REAL*8 floating point values
Processors: 0 and 4, each on different (logically neighboring) nodes
Latency Definition:(T1024-T512)/512
Model Error Range:[1,1024]
Results:

ordered simple swap
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 94.66 47.88 47.2%
1 iter. 133.71 32.92 43.1%
10 iter. 138.40 34.05 42.5%

ordered swap using nonblocking send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 93.52 51.16 44.6%
1 iter. 133.78 32.88 43.6%
10 iter. 136.93 34.99 42.2%
cache inv. w/overlap 94.46 53.21 44.5%
1 iter. w/overlap 133.78 33.44 43.8%
10 iter. w/overlap 138.57 35.10 42.4%

ordered swap using nonblocking receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 94.12 51.67 46.0%
1 iter. 133.16 35.37 42.8%
10 iter. 137.35 34.14 43.0%
cache inv. w/overlap 93.29 53.64 44.0%
1 iter. w/overlap 134.06 34.78 42.8%
10 iter. w/overlap 138.55 35.52 42.8%

ordered swap using nonblocking send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 92.97 52.24 44.5%
1 iter. 133.70 35.69 42.2%
10 iter. 137.34 34.63 42.9%
cache inv. w/overlap 92.10 51.91 44.8%
1 iter. w/overlap 133.08 39.98 40.3%
10 iter. w/overlap 137.27 35.95 42.7%

ordered swap using ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 93.09 52.95 31.8%
1 iter. 133.80 40.75 22.0%
10 iter. 138.92 38.35 23.6%
cache inv. w/overlap 93.58 51.68 31.6%
1 iter. w/overlap 134.39 36.37 25.1%
10 iter. w/overlap 137.70 35.63 23.9%

ordered swap using nonblocking ready send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 94.06 56.25 31.2%
1 iter. 134.13 42.28 21.5%
10 iter. 138.70 39.62 23.0%
cache inv. w/overlap 94.09 54.28 31.1%
1 iter. w/overlap 134.36 40.19 23.2%
10 iter. w/overlap 138.62 36.89 23.9%

synchronous
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 92.95 51.34 44.9%
1 iter. 133.72 37.90 40.5%
10 iter. 138.30 35.51 42.4%

ordered swap using nonblocking sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 94.81 97.52 28.1%
1 iter. 133.89 71.98 20.0%
10 iter. 137.58 72.45 19.7%
cache inv. w/overlap 92.77 103.84 25.2%
1 iter. w/overlap 134.05 74.61 20.7%
10 iter. w/overlap 138.01 70.58 22.2%

ordered swap using nonblocking receive with sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 93.12 94.28 27.9%
1 iter. 133.59 71.55 20.2%
10 iter. 137.57 71.33 20.4%
cache inv. w/overlap 93.54 94.28 29.0%
1 iter. w/overlap 134.09 75.72 19.6%
10 iter. w/overlap 137.79 71.40 20.3%

ordered swap using nonblocking sync. send and receive
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 94.93 98.12 27.5%
1 iter. 136.47 74.81 19.9%
10 iter. 137.85 74.77 18.1%
cache inv. w/overlap 93.09 101.69 26.3%
1 iter. w/overlap 133.24 74.52 21.5%
10 iter. w/overlap 138.26 72.98 20.6%

ordered simple swap using sync. send
Data Statistics
unidirectional bandwidth estimated latency model error
(peak MByte/sec) (usec/msg) (max. rel. error)
cache inv. 138.59 96.08 43.6%
1 iter. 138.77 72.63 20.2%
10 iter. 137.89 69.83 20.3%

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv./no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   1.8448e-01   1.8016e-04   22.74   0.22   0.05   0.56 
  4096   1.3524e-01   2.6414e-04   31.01   0.15   0.03   0.40 
  8192   1.0588e-01   4.1360e-04   39.61   0.19   0.22   0.24 
  16384   8.2455e-02   6.4418e-04   50.87   0.12   0.15   0.16 
  32768   7.0053e-02   1.0946e-03   59.87   0.07   0.08   0.10 
  65536   5.9045e-02   1.8452e-03   71.04   0.05   0.05   0.08 
  131072   5.1792e-02   3.2370e-03   80.98   0.03   0.02   0.06 
  262144   4.8347e-02   6.0434e-03   86.75   0.02   0.02   0.05 
  524288   4.6251e-02   1.1563e-02   90.69   0.02   0.01   0.04 
  1048576   4.4652e-02   2.2326e-02   93.93   0.01   0.01   0.02 
  2097152   3.0265e-02   3.0265e-02   138.59   0.44   0.47   0.51 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   2   6   1   3 
  4096   2   0   6   1   5 
  8192   4   5   1   10   8 
  16384   4   5   2   8   10 
  32768   5   4   6   10   0 
  65536   5   4   0   10   8 
  131072   5   0   1   3   9 
  262144   5   4   2   3   10 
  524288   4   0   8   1   5 
  1048576   5   10   0   3   6 
  2097152   10   9   7   0   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   5   7 
  4096    3   7   7 
  8192    2   2   11 
  16384    2   2   11 
  32768    1   2   11 
  65536    2   7   11 
  131072    1   10   11 
  262144    2   10   11 
  524288    2   11   11 
  1048576    3   11   11 
  2097152    1   1   1 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   1.2008e-01   1.1727e-04   34.93   0.28   0.11   0.71 
  4096   8.6371e-02   1.6869e-04   48.56   0.19   0.06   0.49 
  8192   6.6932e-02   2.6145e-04   62.66   0.23   0.27   0.30 
  16384   5.2009e-02   4.0632e-04   80.65   0.15   0.18   0.19 
  32768   4.4200e-02   6.9063e-04   94.89   0.08   0.10   0.11 
  65536   3.7542e-02   1.1732e-03   111.72   0.05   0.06   0.08 
  131072   3.3782e-02   2.1114e-03   124.16   0.03   0.03   0.04 
  262144   3.2479e-02   4.0599e-03   129.14   0.01   0.01   0.02 
  524288   3.1866e-02   7.9664e-03   131.62   0.01   0.01   0.01 
  1048576   3.1368e-02   1.5684e-02   133.71   0.00   0.00   0.01 
  2097152   3.0224e-02   3.0224e-02   138.77   0.03   0.04   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   2   3   6 
  4096   0   2   6   1   3 
  8192   4   5   10   0   8 
  16384   4   5   10   8   0 
  32768   4   5   10   6   7 
  65536   4   5   10   8   1 
  131072   4   5   10   7   3 
  262144   5   4   10   9   8 
  524288   4   5   7   0   6 
  1048576   5   4   7   8   3 
  2097152   10   9   5   7   4 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   4   7 
  4096    2   5   7 
  8192    2   2   2 
  16384    2   2   11 
  32768    2   2   11 
  65536    2   2   11 
  131072    2   11   11 
  262144    2   11   11 
  524288    8   11   11 
  1048576    11   11   11 
  2097152    1   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations/no overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   1.1767e-01   1.1492e-04   35.64   0.28   0.09   0.73 
  4096   8.2808e-02   1.6173e-04   50.65   0.22   0.07   0.54 
  8192   6.5204e-02   2.5470e-04   64.33   0.24   0.29   0.30 
  16384   5.0343e-02   3.9330e-04   83.32   0.15   0.18   0.19 
  32768   4.2216e-02   6.5963e-04   99.35   0.09   0.11   0.12 
  65536   3.5984e-02   1.1245e-03   116.56   0.06   0.07   0.07 
  131072   3.2604e-02   2.0378e-03   128.64   0.03   0.04   0.05 
  262144   3.1283e-02   3.9104e-03   134.07   0.02   0.02   0.03 
  524288   3.0643e-02   7.6608e-03   136.87   0.01   0.01   0.02 
  1048576   3.0353e-02   1.5177e-02   138.18   0.01   0.01   0.01 
  2097152   3.0191e-02   3.0191e-02   138.92   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   2   3   6 
  4096   0   1   2   6   3 
  8192   4   5   10   0   9 
  16384   5   4   0   10   1 
  32768   4   5   10   1   6 
  65536   5   4   10   6   0 
  131072   4   5   6   7   10 
  262144   5   4   10   0   9 
  524288   5   4   0   10   1 
  1048576   5   4   7   9   0 
  2097152   4   5   0   6   10 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   5   7 
  4096    1   5   7 
  8192    2   2   2 
  16384    2   2   11 
  32768    2   2   11 
  65536    2   2   11 
  131072    2   11   11 
  262144    2   11   11 
  524288    2   11   11 
  1048576    7   11   11 
  2097152    7   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (cache inv. with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   1.8871e-01   1.8429e-04   22.23   0.19   0.02   0.54 
  4096   1.3244e-01   2.5867e-04   31.67   0.16   0.04   0.42 
  8192   1.0419e-01   4.0699e-04   40.26   0.20   0.24   0.26 
  16384   8.2216e-02   6.4232e-04   51.02   0.13   0.14   0.17 
  32768   7.0010e-02   1.0939e-03   59.91   0.07   0.08   0.11 
  65536   5.8700e-02   1.8344e-03   71.45   0.05   0.06   0.06 
  131072   5.2016e-02   3.2510e-03   80.64   0.03   0.03   0.06 
  262144   4.9063e-02   6.1328e-03   85.49   0.01   0.01   0.02 
  524288   4.6486e-02   1.1621e-02   90.23   0.02   0.02   0.04 
  1048576   4.5249e-02   2.2624e-02   92.69   0.01   0.01   0.04 
  2097152   3.0350e-02   3.0350e-02   138.20   0.43   0.48   0.50 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   4   2   0   1   3 
  4096   0   2   1   4   6 
  8192   4   5   10   0   6 
  16384   4   5   10   1   7 
  32768   4   5   0   6   10 
  65536   5   4   0   6   2 
  131072   4   5   0   8   3 
  262144   9   4   10   5   6 
  524288   5   9   10   4   8 
  1048576   10   6   2   4   7 
  2097152   10   0   1   6   5 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    4   7   7 
  4096    1   7   7 
  8192    2   2   7 
  16384    1   2   11 
  32768    1   2   11 
  65536    1   4   11 
  131072    2   10   11 
  262144    7   11   11 
  524288    2   11   11 
  1048576    6   11   11 
  2097152    1   1   1 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (1 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   1.2192e-01   1.1906e-04   34.40   0.27   0.08   0.71 
  4096   8.7121e-02   1.7016e-04   48.14   0.19   0.04   0.51 
  8192   6.6499e-02   2.5976e-04   63.07   0.25   0.31   0.33 
  16384   5.1402e-02   4.0158e-04   81.60   0.17   0.20   0.21 
  32768   4.3739e-02   6.8343e-04   95.89   0.10   0.12   0.13 
  65536   3.7056e-02   1.1580e-03   113.19   0.07   0.08   0.09 
  131072   3.3388e-02   2.0867e-03   125.62   0.04   0.04   0.05 
  262144   3.2361e-02   4.0452e-03   129.61   0.02   0.02   0.03 
  524288   3.1806e-02   7.9514e-03   131.87   0.00   0.00   0.01 
  1048576   3.1344e-02   1.5672e-02   133.81   0.00   0.01   0.01 
  2097152   3.0263e-02   3.0263e-02   138.60   0.03   0.03   0.04 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   2   4   6 
  4096   0   6   2   4   1 
  8192   4   5   10   2   1 
  16384   4   5   0   10   8 
  32768   4   5   0   10   1 
  65536   4   5   0   8   9 
  131072   4   5   10   8   2 
  262144   4   5   6   8   9 
  524288   10   4   9   7   6 
  1048576   4   5   0   10   9 
  2097152   10   4   5   8   2 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   5   7 
  4096    1   7   7 
  8192    1   2   2 
  16384    2   2   11 
  32768    2   2   11 
  65536    2   2   11 
  131072    2   9   11 
  262144    2   11   11 
  524288    9   11   11 
  1048576    11   11   11 
  2097152    1   11   11 

Protocol Sensitivity Summary for Unidirectional Swap of 2097152 Bytes (10 iterations with overlap)
Runtime Statistics
Msg Sizemin Secmin Sec/Msgmax MBytes/Sec(mean-min)/min(median-min)/min(max-min)/min
  2048   1.1732e-01   1.1457e-04   35.75   0.28   0.06   0.74 
  4096   8.2590e-02   1.6131e-04   50.78   0.22   0.04   0.56 
  8192   6.4006e-02   2.5002e-04   65.53   0.26   0.31   0.34 
  16384   4.9558e-02   3.8718e-04   84.63   0.17   0.21   0.22 
  32768   4.1840e-02   6.5375e-04   100.25   0.11   0.13   0.14 
  65536   3.5978e-02   1.1243e-03   116.58   0.06   0.07   0.08 
  131072   3.2470e-02   2.0294e-03   129.17   0.04   0.04   0.05 
  262144   3.1313e-02   3.9141e-03   133.95   0.02   0.02   0.03 
  524288   3.0742e-02   7.6854e-03   136.44   0.01   0.01   0.01 
  1048576   3.0420e-02   1.5210e-02   137.88   0.00   0.00   0.01 
  2097152   3.0180e-02   3.0180e-02   138.98   0.01   0.01   0.01 
Five Fastest
Protocols
Msg Size1st2nd3rd4th5th
  2048   0   1   4   2   6 
  4096   0   1   4   2   6 
  8192   4   5   0   10   1 
  16384   4   5   0   10   1 
  32768   4   5   10   1   6 
  65536   5   4   6   0   1 
  131072   4   5   10   7   6 
  262144   5   4   10   0   7 
  524288   5   4   1   10   0 
  1048576   2   5   6   7   10 
  2097152   10   5   1   2   9 
        Number of Proctocols With
Runtimes Within X% of Min
Msg Size1%5%25%
  2048    1   5   7 
  4096    1   6   7 
  8192    2   2   2 
  16384    2   2   11 
  32768    2   2   11 
  65536    2   2   11 
  131072    2   10   11 
  262144    2   11   11 
  524288    9   11   11 
  1048576    10   11   11 
  2097152    9   11   11 

DISCUSSION

Patrick H. Worley / ( worleyph@ornl.gov)
Last Modified Monday, 15-Jul-2002 10:18:53 EDT.
86658 accesses since 1/2/96.