El Departamento de Justicia de Estados Unidos examina una controvertida herramienta de inteligencia artificial utilizada por una agencia de servicios de protección infantil del área de Pittsburgh, tras las preocupaciones de que podría resultar en discriminación contra familias con discapacidades, según supo The Associated Press.
El interés de los abogados federales de derechos civiles se produce después de que una investigación de AP revelara posibles problemas de parcialidad y transparencia sobre el algoritmo opaco que está diseñado para evaluar el nivel de riesgo de una familia cuando son denunciados por preocupaciones de bienestar infantil en el condado de Allegheny.
Varias quejas de derechos civiles se presentaron en el otoño sobre la Herramienta de detección familiar de Allegheny, que se utiliza para ayudar a los trabajadores sociales a decidir qué familias investigar.
Dos fuentes dijeron que los abogados de la División de Derechos Civiles del Departamento de Justicia citaron la investigación de AP cuando los instaron a presentar quejas formales que detallaran sus preocupaciones sobre cómo el algoritmo podría endurecer los prejuicios contra las personas con discapacidades, incluidas las familias con problemas de salud mental.
Una tercera persona le dijo a AP que el mismo grupo de abogados federales de derechos civiles también habló con ellos en noviembre como parte de una amplia conversación sobre cómo las herramientas algorítmicas podrían exacerbar las disparidades, incluso para las personas con discapacidades.
Esa conversación exploró el diseño y la construcción del influyente algoritmo de Allegheny, aunque se desconoce el alcance total del interés del Departamento de Justicia. Las tres fuentes hablaron con AP bajo condición de anonimato y dijeron que el Departamento de Justicia les pidió que no hablaran sobre las conversaciones confidenciales, y dos dijeron que también temían represalias profesionales.
Wyn Hornbuckle, portavoz del Departamento de Justicia, se negó a comentar.
Los algoritmos usan grupos de información para convertir puntos de datos en predicciones, ya sea para compras en línea, identificar puntos críticos de delincuencia o contratar trabajadores. Muchas agencias de bienestar infantil en los Estados Unidos están considerando adoptar tales herramientas como parte de su trabajo con niños y familias.
Aunque ha habido un amplio debate sobre las consecuencias morales del uso de la inteligencia artificial en los servicios de protección infantil, el interés del Departamento de Justicia en el algoritmo pionero de Allegheny marca un giro significativo hacia las posibles implicaciones legales.
Los partidarios ven los algoritmos como una forma prometedora de hacer que un sistema de servicios de protección infantil sobrecargado sea más completo y eficiente, y dicen que los funcionarios de bienestar infantil deben usar todas las herramientas a su disposición para asegurarse de que los niños no sean maltratados.
Robin Frank, una abogada veterana de derecho familiar en Pittsburgh y crítica abierta del algoritmo de Allegheny, dijo que también presentó una queja ante el Departamento de Justicia en octubre en nombre de un cliente con una discapacidad intelectual que lucha para recuperar a su hija del cuidado de crianza.
“Creo que es importante que las personas sean conscientes de cuáles son sus derechos y, en la medida en que no tenemos mucha información cuando aparentemente hay preguntas válidas sobre el algoritmo, es importante tener cierta supervisión”, dijo Frank.
Mark Bertolet, portavoz del Departamento de Servicios Humanos del Condado de Allegheny, dijo por correo electrónico que la agencia no había tenido noticias del Departamento de Justicia y rechazó las solicitudes de entrevistas.
El condado de Allegheny dijo que su algoritmo ha utilizado puntos de datos vinculados a discapacidades en niños, padres y otros miembros de los hogares locales porque pueden ayudar a predecir el riesgo de que un niño sea retirado de su hogar después de un informe de maltrato. El condado agregó que actualizó su algoritmo varias veces y, en ocasiones, eliminó puntos de datos relacionados con discapacidades.
La Herramienta de evaluación familiar de Allegheny se diseñó específicamente para predecir el riesgo de que un niño sea colocado en un hogar de acogida en los dos años posteriores a la investigación de la familia.
El análisis de AP del algoritmo de Allegheny y aquellos inspirados por él en el condado de Los Ángeles, California, el condado de Douglas, Colorado y en Oregón revela una variedad de puntos de datos controvertidos que han medido a personas con bajos ingresos y otras demografías desfavorecidas, a veces midiendo familias en raza, código postal, discapacidades y su uso de los beneficios de bienestar público.