Снижение потерь внимания за счет обновления индексов между слоями
Новый подход Prism Attention минимизирует вычислительные затраты на LLM, используя локальные сдвиги ключевых токенов между слоями вместо статического перерасчета индексов.
#llm#attention#inference#sparse attention#kv cache



