RealFeedApp llama-sleep сократил время переключения моделей до 1,7 секунды
llama-sleep сохраняет кэш промптов в RAM вместо GPU, сокращая время переключения моделей с 10,3 до 1,7 секунды за счет использования прозрачных гигантских страниц.
- Область
- применение языковых моделей
- Что сделали
- Разработали модификацию llama.cpp под названием llama-sleep, которая сохраняет загруженную в память GPU модель в оперативной памяти компьютера вместо полной остановки.
- Зачем это
- Это позволяет переключаться между разными языковыми моделями за 1,7 секунды, сохраняя кэшированные запросы, что в шесть раз быстрее предыдущих методов и снижает время простоя GPU.
#llama.cpp#llm#llm-swap#llama-sleep#gpu#memory
