Los límites de los algoritmos actuales en términos de precisión con respecto al contexto y los matices son evidentes incluso para el observador ocasional, sobre todo en la censura automatizada, a menudo torpe, en las redes sociales.
A pesar de este estado de cosas en cuanto a los límites de la tecnología en sí, independientemente de la intención de las personas que están detrás de ella, los trabajadores sociales estadounidenses han comenzado a confiar en los algoritmos predictivos para decidir cuándo investigar a los padres sospechosos de negligencia infantil.
Lo que está en juego aquí es algo más que eliminar una publicación de Facebook: a estos padres se les puede acabar retirando a sus hijos, y el algoritmo que se utiliza ahora en varios estados de EE.UU., y que se está ampliando, es descrito por AP como "opaco", al tiempo que proporciona a los trabajadores sociales cálculos estadísticos en los que basar sus acciones.
Otras preocupaciones planteadas en torno a algoritmos como el utilizado en el condado de Allegheny (Pensilvania) -que fue objeto de un estudio de la Universidad Carnegie Mellon- son la fiabilidad, que es espera por completo, y el efecto de "endurecer las disparidades raciales en el sistema de bienestar infantil".
Y aunque este tipo de herramientas ya se están aplicando o considerando en California, Colorado y Oregón (Illinois), los problemas que han surgido con el uso de algoritmos en escenarios tan delicados han llevado a las autoridades a descartar de implementar dichas herramientas.
El estudio universitario que se centró en el condado de Allegheny concluyó que los trabajadores sociales no están de acuerdo con una de cada tres puntuaciones de riesgo que genera el sistema, mientras que otra investigación encontró que el número de niños negros señalados para una investigación obligatoria por negligencia, en comparación con los niños blancos, es "desproporcionado", y que esto se manifiesta en forma de un patrón.
Sin embargo, las autoridades de Allegheny desestimaron el estudio como hipotético, afirmando al mismo tiempo que los trabajadores sociales tienen la última palabra en la toma de decisiones, independientemente de los resultados de la herramienta.
Por el momento, las formas de negligencia que se examinan con el algoritmo son la calidad de la vivienda y la higiene del niño, pero no el abuso sexual ni otras formas de abuso físico.
"Las familias y sus abogados nunca pueden estar seguros del papel del algoritmo en sus vidas, ya que no se les permite conocer las puntuaciones", informa AP.
Dado el tipo de cuestiones que se exploran para decidir si se investiga, no es de extrañar que la mayoría de los datos recogidos se correspondan con familias pobres.