RealFeedApp Квантование int8 сохраняет точность текстовых эмбеддингов
Исследование показало, что 8-битное квантование не уступает 32-битным данным в задачах парного сравнения и переранкинга, в то время как бинарное квантование значительно уступает. Изучено 168 конфигураций на 38 задачах с использованием четырёх трансформерных моделей.
#text embeddings#quantization#int8#llm#mteb
