RealFeedApp Новый формат позволяет запустить 11B VLM на Android с 4 ГБ памяти
Исследователи Graphcore и Arm создали квантованную версию модели Llama 3.2 Vision, уместив её в 3,7 ГБ памяти, что позволило запустить её на Android-смартфоне.
- Область
- применение языковых моделей
- Что сделали
- Исследователи Graphcore и Arm создали версию модели Llama 3.2 Vision Instruct размером 3,7 ГБ, чтобы она помещалась в память смартфона, хотя оригинальная модель весила более 21 ГБ.
- Зачем это
- Это позволяет запускать мощные модели с компьютерным зрением прямо на мобильных устройствах, что особенно важно для робототехники и носимых гаджетов с ограниченной энергией.
#llm#quantization#arm#graphcore#llama 3.2 vision
