GAMA-Bench оценил LLM на 1 298 сценариях
Исследователи создали бенчмарк GAMA-Bench, чтобы проверить, применяют ли модели нейросетей одинаковые стандарты оценки к негативному поведению мужчин и женщин. В тесте участвуют 1298 сценариев, охватывающих как личные, так и общественные конфликты.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи создали набор из 1298 сценариев конфликтов, где одинаковые действия выполняются разными людьми в зависимости от пола, чтобы проверить, одинаково ли модели оценивают их. Они разработали метод для измерения того, как нейросети распределяют наказание, эмпатию и вину.
- Зачем это
- Это поможет понять, почему модели часто проявляют жестокость по отношению к мужчинам, и позволит проверить, насколько они способны быть справедливыми в разных ситуациях.
#llm#gender bias#gama-bench#moral framing#evaluation



