RealFeedApp beta
- Сжатие вывода снижает фактическую стоимость на 1,4–2,4 раза
Протокол CAVEWOMAN показал, что сжатие вывода снижает фактическую стоимость на 1,4–3 раза, тогда как сжатие ввода приводит к потере точности.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи разработали методологию для оценки влияния сжатия текста на входе и выходе у больших языковых моделей, показав, что сжатие ответа снижает фактическую стоимость вычислений, а сжатие запроса ухудшает результат.
- Зачем это
- Это позволяет разработчикам и пользователям понять, как оптимизировать расходы на вычисления, не теряя точность ответов, выбирая сжатие только для части коммуникации.
#llm#compression#cost#inference#api
