En un número creciente de actividades económicas, las decisiones que antes tomaba una persona las está tomando un algoritmo. Sistemas que evalúan solicitudes de crédito, que filtran candidatos en procesos de selección laboral, que determinan precios dinámicos en plataformas de comercio electrónico o que deciden qué contenido se muestra a cada usuario ya no son hipótesis académicas, sino operaciones cotidianas que afectan derechos concretos. Sin embargo, cuando esos sistemas producen resultados discriminatorios o perjudiciales, la pregunta sobre quién responde sigue sin tener una respuesta clara en el derecho argentino. En el centro de esa discusión se encuentra el sesgo algorítmico, un fenómeno por el cual los sistemas automatizados reproducen o amplifican patrones de discriminación presentes en los datos con los que fueron entrenados, generando daños que pueden alcanzar una escala sin precedentes.
La ausencia de una regulación específica sobre inteligencia artificial en Argentina no significa que estas situaciones queden fuera del alcance del derecho. El Convenio 108+ del Consejo de Europa, ratificado por Argentina en 2019, los principios generales de responsabilidad del Código Civil y Comercial, la Ley de Defensa del Consumidor y la Ley 25.326 de Protección de Datos Personales conforman un entramado normativo que, sin haber sido diseñado para este fenómeno, ofrece herramientas para analizar la responsabilidad derivada de decisiones adoptadas por sistemas automatizados.
Cómo se produce el sesgo algorítmico
Un sistema automatizado no discrimina por voluntad propia, pero puede hacerlo por diseño, por omisión o por la calidad de los datos que recibe. El sesgo en los datos se genera cuando los datos de entrenamiento reflejan desigualdades históricas o patrones discriminatorios que el modelo incorpora como si fueran neutros. Si un sistema de selección de personal fue entrenado con datos de contrataciones anteriores en las que predominaban candidatos masculinos, el algoritmo aprenderá a preferir perfiles masculinos, no porque se le haya instruido explícitamente para ello, sino porque los datos le indican que “eso es lo que funcionó”. Lo mismo ocurre con sistemas de scoring crediticio que penalizan a personas de determinados barrios o códigos postales, o con herramientas de fijación de precios que aplican condiciones diferentes según características del usuario que funcionan como proxy de categorías protegidas.
Lo que vuelve particularmente problemático al sesgo algorítmico es su opacidad. En muchos modelos de aprendizaje automático, ni siquiera los propios desarrolladores pueden explicar con precisión por qué el sistema llegó a un resultado determinado. Este fenómeno, conocido como el problema de la “caja negra”, dificulta tanto la detección del sesgo como la asignación de responsabilidad. A esto se suma el factor de escala, ya que un algoritmo sesgado no afecta a una persona sino potencialmente a miles o millones, multiplicando el impacto del daño de una manera que no tiene precedentes en los esquemas tradicionales de responsabilidad.
El marco normativo aplicable en Argentina
Argentina no cuenta, a la fecha de publicación de esta nota, con una ley específica que regule la inteligencia artificial o las decisiones automatizadas. Los proyectos legislativos en discusión contemplan la incorporación del derecho a no ser objeto de decisiones basadas únicamente en tratamientos automatizados que produzcan efectos jurídicos o afecten significativamente al titular, siguiendo la línea del artículo 22 del RGPD europeo. Pero mientras esos proyectos transitan el proceso legislativo, el análisis de la responsabilidad debe apoyarse en las normas vigentes.
El Código Civil y Comercial ofrece un punto de partida relevante a través del régimen de responsabilidad objetiva por riesgo creado. Los artículos 1757 y 1758 establecen que quien introduce una actividad riesgosa o se sirve de ella responde por los daños que esa actividad causa, con independencia de la existencia de culpa. En la medida en que la implementación de un sistema de decisión automatizada pueda ser calificada como una actividad que genera un riesgo específico, quien la despliega podría responder objetivamente por los perjuicios que produzca. Los artículos 1722 y 1723 refuerzan esta lógica al regular los factores objetivos de atribución, prescindiendo de la indagación sobre la diligencia del agente.
En paralelo, el Convenio 108+ del Consejo de Europa, vigente en Argentina desde su ratificación en 2019, incorpora principios específicos sobre tratamiento automatizado de datos personales. Su artículo 9 reconoce el derecho de toda persona a no ser objeto de una decisión basada únicamente en un tratamiento automatizado de datos que le afecte significativamente, sin que sus intereses o derechos sean debidamente considerados. Este instrumento, si bien no ha tenido una aplicación jurisprudencial extendida en Argentina, constituye una fuente normativa de rango supralegal que los tribunales pueden invocar.
Protección de datos personales y sesgo algorítmico
Detrás de todo sistema automatizado que produce resultados sesgados hay datos personales. El algoritmo que evalúa un perfil crediticio, que segmenta usuarios o que filtra candidatos opera sobre información personal que, en Argentina, está protegida por la Ley 25.326 de Protección de Datos Personales. Esto significa que el responsable del tratamiento debe cumplir con los principios de finalidad, proporcionalidad, calidad y seguridad de los datos, aun cuando el tratamiento esté mediado por un algoritmo. La automatización no exime del cumplimiento de estas obligaciones, y el sesgo algorítmico puede ser interpretado como un incumplimiento del principio de calidad cuando el sistema produce resultados que no se corresponden con la realidad o que discriminan sin base legítima.
Un aspecto particularmente sensible es el tratamiento de datos sensibles —origen racial, opiniones políticas, datos de salud, orientación sexual— por parte de sistemas automatizados. Si un algoritmo utiliza directa o indirectamente estas categorías para tomar decisiones, el riesgo de discriminación se potencia de manera significativa. Incluso cuando el sistema no utiliza explícitamente variables sensibles, puede inferirlas a partir de correlaciones en los datos, generando lo que se conoce como discriminación por proxy. Desde el punto de vista de la Ley 25.326, el tratamiento de datos sensibles está sujeto a restricciones más estrictas, y su utilización como insumo para decisiones automatizadas agrava la exposición regulatoria de la empresa.
Defensa del consumidor y sistemas algorítmicos
Cuando las decisiones automatizadas afectan a consumidores o usuarios de servicios, el análisis se enriquece con las normas de defensa del consumidor. La Ley 24.240 consagra el derecho a la información adecuada y veraz, el derecho a un trato digno y equitativo, y la protección contra prácticas abusivas. Un sistema que deniega un crédito, que excluye a un usuario de un servicio o que modifica las condiciones de una relación comercial sin brindar una explicación comprensible puede estar vulnerando estos principios, con independencia de que la decisión haya sido adoptada por un algoritmo o por una persona.
En el ámbito financiero, esta cuestión adquiere una dimensión adicional. Las entidades reguladas por el Banco Central están obligadas a cumplir con las normas de protección al usuario de servicios financieros, que exigen transparencia en las condiciones de los productos, canales de reclamo accesibles y respuestas fundamentadas. Si una entidad utiliza un sistema algorítmico para evaluar solicitudes y ese sistema produce resultados discriminatorios o carentes de fundamentación comprensible, la entidad enfrenta un riesgo regulatorio que va más allá de la responsabilidad civil general.
El derecho a la explicación y la transparencia algorítmica
Uno de los debates más intensos en el ámbito internacional es si las personas afectadas por decisiones automatizadas tienen derecho a recibir una explicación sobre cómo se llegó a ese resultado. El RGPD europeo reconoce este derecho en su artículo 22, y el Convenio 108+ lo recoge de manera similar. En Argentina, si bien no existe una consagración legal explícita del “derecho a la explicación algorítmica”, los principios de buena fe, información y transparencia que atraviesan tanto el derecho del consumidor como la regulación de protección de datos permiten construir un argumento sólido en esa dirección.
Desde un punto de vista práctico, la imposibilidad de explicar por qué un sistema tomó una decisión determinada representa un problema no solo para el afectado, sino para la propia empresa. Si no es posible reconstruir la lógica que llevó a un resultado perjudicial, la defensa frente a un reclamo judicial o administrativo se debilita considerablemente. En los casos en que ese resultado refleje un sesgo algorítmico no detectado, la empresa podría quedar expuesta a responsabilidad objetiva si no puede demostrar que adoptó medidas razonables para prevenir el daño. La gestión de la ciberseguridad y la trazabilidad de los procesos internos adquieren, en este contexto, una relevancia que va más allá de lo técnico.
Implicancias prácticas para las empresas
Las empresas que utilizan sistemas algorítmicos de decisión enfrentan una responsabilidad que no desaparece por el hecho de delegar el proceso a una herramienta tecnológica. Desde el punto de vista jurídico, quien implementa el sistema, define sus parámetros y se beneficia de sus resultados es quien responde frente a los afectados. Esto aplica con independencia de si el algoritmo fue desarrollado internamente o adquirido como servicio. La existencia de un sesgo algorítmico en un sistema provisto por un tercero no exime al responsable que lo implementó y lo utilizó para tomar decisiones que afectan a personas.
Para mitigar esa exposición, resulta fundamental adoptar un enfoque preventivo que incluya, como mínimo, una evaluación del impacto que el sistema puede tener sobre los derechos de las personas antes de su implementación, la documentación de los criterios y datos utilizados por el algoritmo, la implementación de mecanismos de supervisión humana que permitan revisar y corregir resultados, y la definición de canales claros para que los afectados puedan cuestionar las decisiones y obtener una revisión. Incorporar al equipo legal en el diseño de estos procesos desde las etapas tempranas no es un formalismo, sino una condición para que la automatización opere dentro de un marco de riesgo controlado.
Un campo en construcción
La responsabilidad por daños derivados del sesgo algorítmico es un área del derecho que está en plena formación, tanto en Argentina como a nivel global. Las respuestas definitivas vendrán, probablemente, de la combinación entre nuevas normas específicas y la aplicación creativa de los principios jurídicos vigentes a situaciones que no fueron previstas cuando esas normas fueron redactadas. Lo que ya no admite demora es que las empresas que utilizan estos sistemas asuman que la automatización no elimina la responsabilidad, sino que la transforma.
En un contexto donde los algoritmos intervienen en áreas tan sensibles como el acceso al crédito, la selección laboral, la determinación de precios y la moderación de contenidos, la pregunta sobre quién responde cuando algo sale mal dejó de ser una cuestión teórica. Las empresas que anticipen esta discusión y adopten medidas de gobernanza algorítmica razonables estarán en una posición significativamente mejor que las que descubran el problema cuando el reclamo ya esté en curso.
Preguntas frecuentes sobre sesgo algorítmico y responsabilidad legal
¿Qué es el sesgo algorítmico?
Es el fenómeno por el cual un sistema automatizado produce resultados que discriminan o perjudican sistemáticamente a determinados grupos de personas. Se genera cuando los datos de entrenamiento reflejan desigualdades históricas o patrones discriminatorios que el modelo incorpora y reproduce. Puede manifestarse por razones de género, origen, edad, ubicación geográfica u otras características, y su impacto se multiplica por la escala a la que operan estos sistemas.
¿Existe en Argentina una ley que regule las decisiones automatizadas?
No existe a la fecha una norma específica. Sin embargo, el Convenio 108+ (ratificado en 2019), la Ley 25.326 de Protección de Datos Personales, la Ley de Defensa del Consumidor y los principios de responsabilidad del Código Civil y Comercial ofrecen herramientas para analizar la responsabilidad derivada de estas decisiones. Los proyectos de reforma legislativa en discusión contemplan la incorporación de derechos específicos frente a tratamientos automatizados.
¿Quién responde cuando un algoritmo causa un daño discriminatorio?
El responsable es, en principio, quien implementa el sistema, define sus parámetros y se beneficia de sus resultados, con independencia de si desarrolló el algoritmo internamente o lo adquirió como servicio de un tercero. La lógica del Código Civil y Comercial en materia de responsabilidad objetiva por riesgo creado resulta aplicable a estos supuestos.
¿Puede cuestionarse judicialmente una decisión tomada por un algoritmo en Argentina?
Sí. Los afectados pueden recurrir a las normas generales de responsabilidad civil, a los mecanismos de defensa del consumidor y a los procedimientos previstos en la Ley 25.326 para ejercer el derecho de acceso, rectificación o supresión de datos. El desafío práctico reside en la dificultad probatoria que supone demostrar cómo operó el algoritmo, lo que refuerza la importancia de la documentación y la trazabilidad por parte de las empresas.
¿Qué medidas pueden adoptar las empresas para reducir su exposición?
Entre las medidas más relevantes se encuentran la evaluación de impacto previa a la implementación del sistema, la documentación de los criterios y datos utilizados, la implementación de mecanismos de revisión humana, la definición de canales de reclamo para los afectados y la integración del equipo legal en el diseño del proceso desde el inicio. Cuanto más crítica sea la decisión que el sistema adopta, más rigurosas deberían ser las garantías implementadas.
