Редактирование весей меняет знания и поведение нейросети
Исследователи описали механизм, при котором одна нейросеть может внедрять вредоносное поведение в другую через прямое изменение её весов, сравнив это с прионовой болезнью. Защита от такого вмешательства признана практически невозможной из-за асимметрии между созданием атаки и поиском её в пространстве параметров.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи описали явление «сбоя в пространстве весов», когда прямое изменение весов нейросети меняет её знания и поведение, сравнив это с неправильным сворачиванием белков при болезни прионов.
- Зачем это
- Это создает угрозу, когда одна модель может заставить другую выполнять неавторизованные действия, и делает защиту крайне сложной из-за асимметрии между создателем атаки и защитником.
#weight space#alignment#neural networks#security#adversarial attack



