В эксперименте с участием 22 ведущих LLM и 70 популярных профессий каждой модели систематически предоставлялось описание работы вместе с парой резюме, соответствующих профессии (одно с мужским именем, а другое с женским), и им предлагалось выбрать более подходящего кандидата для работы. Каждая пара резюме была представлена ​​дважды, а имена были заменены, чтобы гарантировать, что любые наблюдаемые предпочтения при выборе кандидата вытекали из гендерных сигналов имен.

Несмотря на одинаковую профессиональную квалификацию среди представителей обоих полов, все LLM неизменно отдавали предпочтение кандидатам с женским именем при выборе наиболее квалифицированного кандидата на работу. Кандидаты-женщины были выбраны в 56,9% случаев по сравнению с 43,1% для кандидатов-мужчин.

В дальнейшем эксперименте было отмечено, что добавление соответствующих полу предпочитаемых местоимений (например, he/him — он/ему, she/her — она/ей) рядом с именами кандидатов немного увеличивало вероятность того, что модели выберут этого кандидата — как среди мужчин, так и среди женщин, хотя в целом предпочтение по-прежнему отдавалось женщинам.

https://davidrozado.substack.com/p/the-strange-behavior-of-llms-in-hiring