]> git.baikalelectronics.ru Git - kernel.git/commit
libbpf: Generate more efficient BPF_CORE_READ code
authorAndrii Nakryiko <andriin@fb.com>
Fri, 11 Oct 2019 02:38:47 +0000 (19:38 -0700)
committerDaniel Borkmann <daniel@iogearbox.net>
Fri, 11 Oct 2019 20:35:46 +0000 (22:35 +0200)
commitcc9c3506a870fdd1de97ac81f33475f769150510
treecd6f2070bf31969ce71d5f88a4b41dc66d67a9f3
parent35da259803554ac8a4ed1c2c25001cbb85566f7b
libbpf: Generate more efficient BPF_CORE_READ code

Existing BPF_CORE_READ() macro generates slightly suboptimal code. If
there are intermediate pointers to be read, initial source pointer is
going to be assigned into a temporary variable and then temporary
variable is going to be uniformly used as a "source" pointer for all
intermediate pointer reads. Schematically (ignoring all the type casts),
BPF_CORE_READ(s, a, b, c) is expanded into:
({
const void *__t = src;
bpf_probe_read(&__t, sizeof(*__t), &__t->a);
bpf_probe_read(&__t, sizeof(*__t), &__t->b);

typeof(s->a->b->c) __r;
bpf_probe_read(&__r, sizeof(*__r), &__t->c);
})

This initial `__t = src` makes calls more uniform, but causes slightly
less optimal register usage sometimes when compiled with Clang. This can
cascase into, e.g., more register spills.

This patch fixes this issue by generating more optimal sequence:
({
const void *__t;
bpf_probe_read(&__t, sizeof(*__t), &src->a); /* <-- src here */
bpf_probe_read(&__t, sizeof(*__t), &__t->b);

typeof(s->a->b->c) __r;
bpf_probe_read(&__r, sizeof(*__r), &__t->c);
})

Fixes: 85cb98e88808 ("libbpf: Add BPF_CORE_READ/BPF_CORE_READ_INTO helpers")
Signed-off-by: Andrii Nakryiko <andriin@fb.com>
Signed-off-by: Daniel Borkmann <daniel@iogearbox.net>
Link: https://lore.kernel.org/bpf/20191011023847.275936-1-andriin@fb.com
tools/lib/bpf/bpf_core_read.h