Inkling 2 Mini работает на 16 ГБ оперативной памяти
Новая модель Inkling 2 Mini с 26,4 млрд параметров работает на 16 ГБ памяти, ускоряя рендеринг на 52–66% и снижая время генерации на 36,7 секунды по сравнению с предыдущей версией.
- Область
- применение языковых моделей
- Что сделали
- Компания Unsloth выпустила обновленную версию модели Inkling 2 Mini, которая потребляет меньше памяти и работает быстрее, а также исправил ошибки в работе с видео и PDF-документами.
- Зачем это
- Это позволяет генерировать изображения и редактировать видео на маломощных видеокартах (включая Mac с Apple Silicon) значительно быстрее и с меньшими затратами ресурсов.
#llm#inference#gpu#optimization#llama



