RealFeedApp beta

GAMA-Bench оценил LLM на 1 298 сценариях

Исследователи создали бенчмарк GAMA-Bench, чтобы проверить, применяют ли модели нейросетей одинаковые стандарты оценки к негативному поведению мужчин и женщин. В тесте участвуют 1298 сценариев, охватывающих как личные, так и общественные конфликты.

Область
обучение языковых моделей
Что сделали
Исследователи создали набор из 1298 сценариев конфликтов, где одинаковые действия выполняются разными людьми в зависимости от пола, чтобы проверить, одинаково ли модели оценивают их. Они разработали метод для измерения того, как нейросети распределяют наказание, эмпатию и вину.
Зачем это
Это поможет понять, почему модели часто проявляют жестокость по отношению к мужчинам, и позволит проверить, насколько они способны быть справедливыми в разных ситуациях.
#llm#gender bias#gama-bench#moral framing#evaluation

Читать оригинал →