]> git.baikalelectronics.ru Git - kernel.git/commit
libbpf: Generate more efficient BPF_CORE_READ code
authorAndrii Nakryiko <andriin@fb.com>
Fri, 11 Oct 2019 02:38:47 +0000 (19:38 -0700)
committerDaniel Borkmann <daniel@iogearbox.net>
Fri, 11 Oct 2019 20:35:46 +0000 (22:35 +0200)
commit44141b9a6140e00c91473d2f4cc1d0a672817e49
treecd6f2070bf31969ce71d5f88a4b41dc66d67a9f3
parent994d9488c15abeb0531b78ddb7e1d3fb1c03bc0a
libbpf: Generate more efficient BPF_CORE_READ code

Existing BPF_CORE_READ() macro generates slightly suboptimal code. If
there are intermediate pointers to be read, initial source pointer is
going to be assigned into a temporary variable and then temporary
variable is going to be uniformly used as a "source" pointer for all
intermediate pointer reads. Schematically (ignoring all the type casts),
BPF_CORE_READ(s, a, b, c) is expanded into:
({
const void *__t = src;
bpf_probe_read(&__t, sizeof(*__t), &__t->a);
bpf_probe_read(&__t, sizeof(*__t), &__t->b);

typeof(s->a->b->c) __r;
bpf_probe_read(&__r, sizeof(*__r), &__t->c);
})

This initial `__t = src` makes calls more uniform, but causes slightly
less optimal register usage sometimes when compiled with Clang. This can
cascase into, e.g., more register spills.

This patch fixes this issue by generating more optimal sequence:
({
const void *__t;
bpf_probe_read(&__t, sizeof(*__t), &src->a); /* <-- src here */
bpf_probe_read(&__t, sizeof(*__t), &__t->b);

typeof(s->a->b->c) __r;
bpf_probe_read(&__r, sizeof(*__r), &__t->c);
})

Fixes: 6632cb7d8101 ("libbpf: Add BPF_CORE_READ/BPF_CORE_READ_INTO helpers")
Signed-off-by: Andrii Nakryiko <andriin@fb.com>
Signed-off-by: Daniel Borkmann <daniel@iogearbox.net>
Link: https://lore.kernel.org/bpf/20191011023847.275936-1-andriin@fb.com
tools/lib/bpf/bpf_core_read.h