]> git.baikalelectronics.ru Git - kernel.git/commit
READ_ONCE: Drop pointer qualifiers when reading from scalar types
authorWill Deacon <will@kernel.org>
Thu, 19 Dec 2019 14:22:31 +0000 (14:22 +0000)
committerWill Deacon <will@kernel.org>
Thu, 16 Apr 2020 11:28:34 +0000 (12:28 +0100)
commitfd9d7d302975ddaca716e82ea15e200e66e756ba
treeeb19a451dd6f475428f2775d4d06c491b4ee4b01
parent9e6df615155d2ab1f5497385fac4d40fc8d0815a
READ_ONCE: Drop pointer qualifiers when reading from scalar types

Passing a volatile-qualified pointer to READ_ONCE() is an absolute
trainwreck for code generation: the use of 'typeof()' to define a
temporary variable inside the macro means that the final evaluation in
macro scope ends up forcing a read back from the stack. When stack
protector is enabled (the default for arm64, at least), this causes
the compiler to vomit up all sorts of junk.

Unfortunately, dropping pointer qualifiers inside the macro poses quite
a challenge, especially since the pointed-to type is permitted to be an
aggregate, and this is relied upon by mm/ code accessing things like
'pmd_t'. Based on numerous hacks and discussions on the mailing list,
this is the best I've managed to come up with.

Introduce '__unqual_scalar_typeof()' which takes an expression and, if
the expression is an optionally qualified 8, 16, 32 or 64-bit scalar
type, evaluates to the unqualified type. Other input types, including
aggregates, remain unchanged. Hopefully READ_ONCE() on volatile aggregate
pointers isn't something we do on a fast-path.

Cc: Peter Zijlstra <peterz@infradead.org>
Cc: Arnd Bergmann <arnd@arndb.de>
Suggested-by: Linus Torvalds <torvalds@linux-foundation.org>
Reported-by: Michael Ellerman <mpe@ellerman.id.au>
Signed-off-by: Will Deacon <will@kernel.org>
include/linux/compiler.h
include/linux/compiler_types.h