]> git.baikalelectronics.ru Git - kernel.git/commit
net: Save TX flow hash in sock and set in skbuf on xmit
authorTom Herbert <therbert@google.com>
Wed, 2 Jul 2014 04:32:17 +0000 (21:32 -0700)
committerDavid S. Miller <davem@davemloft.net>
Tue, 8 Jul 2014 04:14:21 +0000 (21:14 -0700)
commit7ca6a9f139eabd333dcf75a6e7bfc33b93c43799
tree84bba82f2bb8dda790d4cea90eb698a5442d36b4
parent9a8188efdbd2931daabbc7f3e9c691b1f6578007
net: Save TX flow hash in sock and set in skbuf on xmit

For a connected socket we can precompute the flow hash for setting
in skb->hash on output. This is a performance advantage over
calculating the skb->hash for every packet on the connection. The
computation is done using the common hash algorithm to be consistent
with computations done for packets of the connection in other states
where thers is no socket (e.g. time-wait, syn-recv, syn-cookies).

This patch adds sk_txhash to the sock structure. inet_set_txhash and
ip6_set_txhash functions are added which are called from points in
TCP and UDP where socket moves to established state.

skb_set_hash_from_sk is a function which sets skb->hash from the
sock txhash value. This is called in UDP and TCP transmit path when
transmitting within the context of a socket.

Tested: ran super_netperf with 200 TCP_RR streams over a vxlan
interface (in this case skb_get_hash called on every TX packet to
create a UDP source port).

Before fix:

  95.02% CPU utilization
  154/256/505 90/95/99% latencies
  1.13042e+06 tps

  Time in functions:
    0.28% skb_flow_dissect
    0.21% __skb_get_hash

After fix:

  94.95% CPU utilization
  156/254/485 90/95/99% latencies
  1.15447e+06

  Neither __skb_get_hash nor skb_flow_dissect appear in perf

Signed-off-by: Tom Herbert <therbert@google.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
include/net/ip.h
include/net/ipv6.h
include/net/sock.h
net/ipv4/datagram.c
net/ipv4/tcp_ipv4.c
net/ipv4/tcp_output.c
net/ipv6/datagram.c
net/ipv6/tcp_ipv6.c