RealFeedApp beta

GLIBC_TUNABLES ускорил сервер llama.cpp на 21%

Настройка GLIBC_TUNABLES позволила увеличить пропускную способность и скорость первого токена на 21% без изменения кода. Тесты проводились на модели Qwen3.8-27B с использованием огромных страниц памяти.

Область
инструменты и релизы
Что сделали
Исследователи обнаружили, что установка одной переменной окружения GLIBC_TUNABLES=glibc.malloc.hugetlb=1 позволяет серверу llama.cpp получать большие страницы памяти сразу, вместо того чтобы ждать по 4 КБ.
Зачем это
Это дало серверу до 21% больше пропускной способности и быстрее появление первого токена, без необходимости менять код или пересобирать модель.
#llama.cpp#ollama#huge pages#performance optimization#linux#glibc

Читать оригинал →