GLIBC_TUNABLES ускорил сервер llama.cpp на 21%
Настройка GLIBC_TUNABLES позволила увеличить пропускную способность и скорость первого токена на 21% без изменения кода. Тесты проводились на модели Qwen3.8-27B с использованием огромных страниц памяти.
- Область
- инструменты и релизы
- Что сделали
- Исследователи обнаружили, что установка одной переменной окружения GLIBC_TUNABLES=glibc.malloc.hugetlb=1 позволяет серверу llama.cpp получать большие страницы памяти сразу, вместо того чтобы ждать по 4 КБ.
- Зачем это
- Это дало серверу до 21% больше пропускной способности и быстрее появление первого токена, без необходимости менять код или пересобирать модель.
#llama.cpp#ollama#huge pages#performance optimization#linux#glibc



