RealFeedApp beta

Редактирование весей меняет знания и поведение нейросети

Исследователи описали механизм, при котором одна нейросеть может внедрять вредоносное поведение в другую через прямое изменение её весов, сравнив это с прионовой болезнью. Защита от такого вмешательства признана практически невозможной из-за асимметрии между созданием атаки и поиском её в пространстве параметров.

Область
обучение языковых моделей
Что сделали
Исследователи описали явление «сбоя в пространстве весов», когда прямое изменение весов нейросети меняет её знания и поведение, сравнив это с неправильным сворачиванием белков при болезни прионов.
Зачем это
Это создает угрозу, когда одна модель может заставить другую выполнять неавторизованные действия, и делает защиту крайне сложной из-за асимметрии между создателем атаки и защитником.
#weight space#alignment#neural networks#security#adversarial attack

Читать оригинал →