La inteligencia artificial de las emociones utiliza señales biológicas como el tono vocal, las expresiones faciales y datos de dispositivos portátiles, así como texto y el uso que las personas hacen de sus ordenadores, con la promesa de detectar y predecir cómo se siente alguien. Se utiliza en contextos tanto mundanos, como el entretenimiento, como de alto riesgo, como el lugar de trabajo, la contratación y la atención médica.
Un amplio abanico de industrias ya utilizan la IA emocional, incluidos los centros de llamadas, las finanzas, la banca, la enfermería y la prestación de cuidados. Más del 50 % de los grandes empleadores de EE. UU. utilizan la IA emocional para inferir los estados internos de los empleados, una práctica que creció durante la pandemia de COVID-19 Por ejemplo, los centros de atención telefónica controlan lo que dicen sus operadores y su tono de voz.
Los académicos han expresado su preocupación por la validez científica de la IA de las emociones y su dependencia de teorías controvertidas sobre las emociones. También han destacado el potencial de la IA emocional para invadir la privacidad y exhibir prejuicios raciales de género y de discapacidad.
Algunos empleadores utilizan la tecnología como si fuera perfecta mientras que algunos académicos buscan reducir su sesgo y mejorar su validez, desacreditarla por completo o sugerir prohibir la IA emocional, al menos hasta que se sepa más sobre sus implicaciones.
Estudio las implicaciones sociales de la tecnología. Creo que es crucial examinar las implicaciones de la IA emocional para las personas sometidas a ella, como los trabajadores, especialmente aquellos marginados por su raza, género o condición de discapacidad.
Preocupaciones de los trabajadores
Para comprender hacia dónde se dirige el uso de la IA emocional en el lugar de trabajo, mi colega Karen Boyd y yo nos propusimos examinar las concepciones de los inventores sobre la IA emocional en el lugar de trabajo. Analizamos solicitudes de patentes que proponían tecnologías de IA emocional para el lugar de trabajo. Los supuestos beneficios reclamados por los solicitantes de patentes incluían evaluar y apoyar el bienestar de los empleados, garantizar la seguridad en el lugar de trabajo, aumentar la productividad y ayudar en la toma de decisiones, como realizar ascensos, despedir empleados y asignar tareas.
Nos preguntamos qué piensan los trabajadores sobre estas tecnologías. ¿Percibirían también estos beneficios? Por ejemplo, ¿los trabajadores encontrarían beneficioso que los empleadores les brindaran apoyo para su bienestar?
Mis colaboradores Shanley Corvite, Kat Roemmich, Tillie Ilana Rosenberg y yo realizamos una encuesta en parte representativa de la población de EE. UU. y en parte con un sobremuestreo de personas de color, personas trans y no binarias y personas que viven con enfermedades mentales. Estos grupos pueden tener más probabilidades de sufrir daños debido a la IA emocional. Nuestro estudio contó con 289 participantes de la muestra representativa y 106 participantes de la sobremuestra. Descubrimos que el 32% de los encuestados informaron no experimentar o esperar ningún beneficio del uso de la IA emocional, ya sea actual o anticipada, en su lugar de trabajo.
Si bien algunos trabajadores notaron beneficios potenciales del uso de la IA emocional en el lugar de trabajo, como un mayor apoyo al bienestar y la seguridad en el lugar de trabajo, reflejando los beneficios reclamados en las solicitudes de patentes, todos también expresaron preocupaciones. Les preocupaba el daño a su bienestar y privacidad, el daño a su desempeño laboral y su situación laboral, y los prejuicios y el estigma de la salud mental en su contra.
Por ejemplo, el 51% de los participantes expresó su preocupación por la privacidad, el 36% señaló la posibilidad de que los empleadores aceptaran inferencias incorrectas al pie de la letra y el 36% señaló el potencial de inferencias incorrectas que los empleadores aceptarían al pie de la letra y el 33% expresó su preocupación por que las inferencias generadas por la IA de las emociones pudieran utilizarse para tomar decisiones laborales injustas.
Las voces de los participantes
Un participante que padecía múltiples problemas de salud dijo: “La conciencia de que me están analizando tendría, irónicamente, un efecto negativo en mi salud mental”. Esto significa que, a pesar de los supuestos objetivos de la IA emocional de inferir y mejorar el bienestar de los trabajadores en el lugar de trabajo, su uso puede provocar el efecto contrario: el bienestar disminuye debido a la pérdida de privacidad. De hecho, otro trabajo realizado por mis colegas Roemmich, Florian Schaub y yo sugiere que la pérdida de privacidad inducida por la IA emocional puede abarcar una variedad de daños a la privacidad , incluidos los psicológicos, la autonomía, los económicos, las relaciones, los físicos y la discriminación.
Sobre la preocupación de que la vigilancia emocional pudiera poner en peligro su trabajo, un participante con una enfermedad mental diagnosticada dijo: “Podrían decidir que ya no soy apto para el trabajo y despedirme. Decidir que no soy lo suficientemente capaz y no me dan un aumento, o pienso que no estoy trabajando lo suficiente”.
Los participantes en el estudio también mencionaron el potencial de desequilibrios de poder exacerbados y dijeron que tenían miedo de la dinámica que tendrían con los empleadores si la IA emocional se integrara en su lugar de trabajo, señalando cómo el uso de la IA emocional podría potencialmente intensificar las tensiones ya existentes en el empleador. relación laboral. Por ejemplo, un encuestado dijo: “La cantidad de control que los empleadores ya tienen sobre los empleados sugiere que habría pocos controles sobre cómo se utilizaría esta información. Cualquier 'consentimiento' [de] los empleados es en gran medida ilusorio en este contexto”.
La IA emocional es solo una de las formas en que las empresas monitorean a los empleados.
Por último, los participantes notaron daños potenciales, como las imprecisiones técnicas de la IA emocional que pueden crear impresiones falsas sobre los trabajadores, y la IA emocional que crea y perpetúa prejuicios y estigmas contra los trabajadores. Al describir estas preocupaciones, los participantes resaltaron su temor a que los empleadores dependan de sistemas de inteligencia artificial emocional inexactos y sesgados, particularmente contra personas de color, mujeres y personas trans.
Por ejemplo, un participante dijo: “¿Quién decide qué expresiones 'parecen violentas' y cómo se puede determinar que una persona es una amenaza simplemente por la expresión de su rostro? Un sistema puede leer rostros, claro, pero no mentes. Simplemente no veo cómo esto podría ser algo más que destructivo para las minorías en el lugar de trabajo”.
Los participantes señalaron que se negarían a trabajar en un lugar que utilizara IA emocional (una opción que no está disponible para muchos) o adoptarían comportamientos que hicieran que la IA emocional los interpretara favorablemente para proteger su privacidad. Un participante dijo: “Ejercería una enorme cantidad de enmascaramiento de energía incluso cuando estuviera solo en mi oficina, lo que me distraería mucho y me volvería improductivo”, señalando cómo el uso de la IA emocional impondría un trabajo emocional adicional a los trabajadores.
¿Vale la pena el daño?
Estos hallazgos indican que la IA de las emociones exacerba los desafíos existentes que experimentan los trabajadores en el lugar de trabajo, a pesar de que sus defensores afirman que la IA de las emociones ayuda a resolver estos problemas.
Si la IA emocional funciona como se afirma y mide lo que dice medir, e incluso si en el futuro se abordan los problemas con sesgos, los trabajadores aún sufren daños, como el trabajo emocional adicional y la pérdida de privacidad.
Si estas tecnologías no miden lo que afirman o están sesgadas, entonces las personas están a merced de algoritmos que se consideran válidos y confiables cuando no lo son. Los trabajadores aún tendrían que esforzarse para tratar de reducir las posibilidades de que el algoritmo los interprete mal, o para participar en manifestaciones emocionales que favorezcan al algoritmo.
De cualquier manera, estos sistemas funcionan como tecnologías tipo panóptico, creando daños a la privacidad y la sensación de estar siendo observados.