brk: fix min_brk lower bound computation for COMPAT_BRK
authorJiri Kosina <[email protected]>
Thu, 13 Jan 2011 23:47:23 +0000 (15:47 -0800)
committerLinus Torvalds <[email protected]>
Fri, 14 Jan 2011 01:32:48 +0000 (17:32 -0800)
commit5520e89485252c759ee60d313e9422447659947b
treecae55e5e44e86a19af4103ec129d887004d26b5b
parent32d6feadf4e17ea9b98071be9bbf402a74a4f818
brk: fix min_brk lower bound computation for COMPAT_BRK

Even if CONFIG_COMPAT_BRK is set in the kernel configuration, it can still
be overriden by randomize_va_space sysctl.

If this is the case, the min_brk computation in sys_brk() implementation
is wrong, as it solely takes into account COMPAT_BRK setting, assuming
that brk start is not randomized.  But that might not be the case if
randomize_va_space sysctl has been set to '2' at the time the binary has
been loaded from disk.

In such case, the check has to be done in a same way as in
!CONFIG_COMPAT_BRK case.

In addition to that, the check for the COMPAT_BRK case introduced back in
a5b4592c ("brk: make sys_brk() honor COMPAT_BRK when computing lower
bound") is slightly wrong -- the lower bound shouldn't be mm->end_code,
but mm->end_data instead, as that's where the legacy applications expect
brk section to start (i.e.  immediately after last global variable).

[[email protected]: fix comment]
Signed-off-by: Jiri Kosina <[email protected]>
Cc: Geert Uytterhoeven <[email protected]>
Cc: Ingo Molnar <[email protected]>
Signed-off-by: Andrew Morton <[email protected]>
Signed-off-by: Linus Torvalds <[email protected]>
mm/mmap.c