RealFeedApp FPA позволяет сохранять любое подмножество ключей
Метод First Passage Attention (FPA) использует глубинные минимумы скалярного поля для выбора ключей, в отличие от стандартного суммирования. Это позволяет сохранять только релевантные токены, не требуя линейной размерности головы.
#attention#transformer#softmax#forget gates#reinforcement learning
