Государственная комиссия по борьбе с дискриминацией и расизмом призывает правительство Нидерландов прекратить использование алгоритмов для выявления мошенничества и преступности, если нельзя гарантировать, что они не приводят к дискриминации. По данным комиссии, всё больше госорганов используют так называемое datagedreven profilering — профилирование на основе данных, но на практике такие системы могут несправедливо выделять определённые группы людей.
В качестве примеров называют toeslagenaffaire и ситуацию с DUO. С 2012 по 2023 год около 10.000 студентов проверяли на возможное мошенничество со studiefinanciering с помощью алгоритма, который оказался дискриминационным. Под особое внимание чаще попадали студенты, живущие отдельно от родителей и имеющие миграционный бэкграунд.
Проблема в том, что алгоритмы часто обучаются на старых данных. Если в этих данных уже была дискриминация или предвзятость, система может не просто повторить её, а усилить. Кроме того, граждане часто даже не знают, что их профилируют, по каким критериям это происходит и какие именно алгоритмы использует государство.
Комиссия считает, что пока дискриминацию нельзя исключить, от такого профилирования нужно отказаться. Вместо этого можно использовать другие методы контроля, например случайные проверки. Главная мысль здесь простая: эффективность не должна становиться оправданием для системы, которая может заранее считать одних людей более «подозрительными», чем других.
Источник: NOS
INT Services.nl. Позвоните нам.
Мы на связи 24/7: + 31 8 520 86 592
