OSDev

Моя текущая реализация требует 4К (верхушка стэка) + 8 байт (счетчик доступных фрэймов и указатель стэка). Улучшать не планирую

При использовании PAE в приложении все равно не больше 4 ГБ виртуальной памяти. А значит, все таблицы, отображенные в ВАП, займут по идеи 4-8 мегабайта.

Неправильно считаете.

Одна таблица (4КБ) отображает 2МБ ВАП, получаем 32ГБ / 2МБ * 4КБ = 64МБ

Короче, без рекурсивного отображения получается (4 + 4 * 512) * 4096 = ~8M, с рекурсивным 1 ГБ!!! Кто там рекомендовал рекурсивный mapping? =)

Да, худший вариант оказался еще хуже

А разве кто-то предлагал? И вообще, что это и зачем?)
Используемый у большинства подход - просто отобразить в ВАП процесса еще и те физические страницы, в которых находятся сами таблицы страниц. Это как раз те самые 8 МБ памяти.

Одна из записей каталога содержит физический адрес самого каталога. В итоге отображение страницы/отмена отображения выполняются одной строчкой кода.

Зачем? Мы резервируем в одной-единственной таблице самого нижнего уровня первые(последние) N записей под те физические страницы, в которых хранятся все таблицы, и никогда эти записи больше не трогаем. После этого мы можем из системного кода писать в любое место любой таблицы страниц или каталога страниц одной строчкой, т.к. находится всё это по известному нам виртуальному адресу (где-то между 0 и 8 мб, если заменяем N первых записи таблицы нижнего уровня).
EDIT:
Конкретно для адресации 8 МБ нам понадобится зарезервировать первые 4 таблицы нижнего уровня (4*512 записей, каждая описывает 4 кб), все остальные будут доступны для свободного использования.

Ну дак, оптимизация же!

Так я описал, как получить такой же результат (модификация любой таблицы в одну строку), используя только 8 МБ ВАП.