Un nuevo escenario para el Derecho
El uso de sistemas de inteligencia artificial en la toma de decisiones ya no es una proyección futura, sino una realidad presente. Tanto en el sector público como en el privado, los algoritmos intervienen en procesos como la evaluación crediticia, contratación con proveedores, contratos laborales, la asignación de beneficios y la gestión administrativa a todo nivel en cualquier organización.
Esta transformación introduce un cambio relevante: las decisiones que afectan derechos ya no provienen exclusivamente de personas, sino también de sistemas automatizados. Ello obliga a replantear los mecanismos tradicionales de control jurídico.
En este contexto, surge el denominado Compliance Algorítmico, entendido como la adaptación de los sistemas de cumplimiento normativo a los riesgos derivados del uso de algoritmos y modelos de inteligencia artificial.
De la conducta humana a la decisión automatizada
El compliance tradicional ha estado orientado a prevenir infracciones derivadas de conductas humanas dentro de las organizaciones y con ello, evitar contingencias de índole resarcitoria desde el punto de vista patrimonial, así como la prohibición de conductas que puedan generar acciones ilícitas que pueden imputarse como delitos y que pueden exponer reputacionalmente a las empresas, como a sus representantes legales y/o apoderados. Sin embargo, la automatización introduce una nueva fuente de riesgo: decisiones generadas por sistemas técnicos, muchas veces abstractos y de difícil comprensión.
Estos sistemas pueden reproducir sesgos, generar resultados discriminatorios o afectar derechos sin una intervención humana directa. Como ha advertido una posición mayoritaria, los algoritmos pueden amplificar desigualdades si no se encuentran sujetos a controles adecuados.
El compliance algorítmico busca precisamente incorporar controles jurídicos y técnicos en el diseño y uso de estos sistemas, evitando que operen al margen del ordenamiento jurídico.
Riesgos y exigencias jurídicas
La utilización de inteligencia artificial en procesos decisorios plantea riesgos que no pueden ser ignorados. Entre los principales destacan:
a.- La posible discriminación algorítmica, derivada de datos sesgados.
Esta situación puede configurarse cuando un sistema automatizado produce resultados desiguales o desfavorables para determinadas personas o grupos, sin una justificación objetiva y razonable. A diferencia de la discriminación tradicional —que suele derivar de una conducta humana consciente—, la discriminación algorítmica es indirecta, estructural y muchas veces invisible, toda vez que se origina en los datos y patrones que el sistema utiliza para aprender y tomar decisiones para su posterior uso.
En efecto, los algoritmos no generan criterios autónomos, sino que operan sobre información previamente existente. Si dicha información refleja desigualdades —como menor acceso al crédito en determinados sectores, sesgos en la contratación laboral o patrones diferenciados en la fiscalización— el sistema no solo reproduce esos comportamientos, sino que puede amplificarlos a gran escala, generando efectos sistemáticos difíciles de advertir en un primer momento. Desde el punto de vista jurídico, esto plantea un desafío relevante para el Derecho, puesto que puede producirse sin que exista una voluntad directa atribuible, lo que obliga a desplazar el análisis desde la conducta individual hacia los resultados y efectos concretos del sistema.
La experiencia comparada ofrece ejemplos ilustrativos. En el ámbito privado, destaca el caso de Amazon, que desarrolló un sistema interno de reclutamiento automatizado basado en inteligencia artificial para filtrar currículos. Dicho sistema fue entrenado con datos históricos de contratación de la propia empresa, en los que predominaban perfiles masculinos en el sector tecnológico. Como consecuencia, el algoritmo comenzó a penalizar sistemáticamente los currículos de mujeres, descartando perfiles que incluían términos asociados a organizaciones femeninas o trayectorias académicas en entornos predominantemente femeninos. El sistema no había sido diseñado para discriminar; sin embargo, aprendió a hacerlo a partir de los datos con los que fue alimentado, evidenciando que el problema no radica únicamente en el diseño técnico, sino en la calidad y representatividad de la información utilizada.
Aún más significativo es el caso del uso del software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), desarrollado por la empresa Northpointe (actualmente Equivant), utilizado en diversos tribunales de los Estados Unidos para evaluar el riesgo de reincidencia de personas procesadas. Este sistema influía en decisiones judiciales como la imposición de medidas cautelares o la determinación de penas. Sin embargo, investigaciones periodísticas evidenciaron que el algoritmo presentaba un sesgo sistemático contra personas afroamericanas, a quienes clasificaba con mayor frecuencia como de alto riesgo, incluso en situaciones comparables con personas de otros grupos. Lo relevante es que el sistema no utilizaba explícitamente la variable racial, sino factores correlacionados, generando así un efecto discriminatorio indirecto. Este caso demuestra que un algoritmo puede producir resultados contrarios al principio de igualdad aun cuando sus criterios aparenten ser neutrales.
En el contexto peruano, estos escenarios deben ser analizados a la luz del derecho fundamental a la igualdad y no discriminación, reconocido en la Constitución Política. Este derecho no solo prohíbe la discriminación directa, sino también aquellas prácticas que, aunque formalmente neutras, generan impactos desproporcionados o injustificados. En consecuencia, la utilización de sistemas algorítmicos en ámbitos como la contratación laboral, la evaluación crediticia, la provisión de servicios o la fiscalización estatal debe someterse a estándares de razonabilidad y proporcionalidad, así como a mecanismos de control que permitan detectar y corregir sesgos.
En este punto, el compliance algorítmico adquiere especial relevancia, en tanto exige la implementación de auditorías de datos, la validación de resultados, la supervisión humana en decisiones críticas y la corrección continua de los sistemas. No basta con que el algoritmo sea eficiente desde el punto de vista técnico; resulta indispensable que sus resultados sean compatibles con el ordenamiento jurídico y con los principios constitucionales. En definitiva, la discriminación algorítmica evidencia que la inteligencia artificial no es neutral, sino que puede reproducir y potenciar las desigualdades existentes, lo que impone al Derecho la necesidad de asumir un rol preventivo para garantizar que la automatización no se traduzca en una nueva forma de exclusión.
b.- La falta de transparencia, especialmente en modelos complejos
A diferencia de los sistemas tradicionales, en los que las reglas de decisión son explícitas y verificables, muchos algoritmos actuales operan como verdaderas “cajas negras”, en las que resulta extremadamente difícil —e incluso imposible— comprender cómo se llega a un resultado determinado.
Este fenómeno se produce porque los modelos no siguen una lógica jurídica o normativa explícita, sino que identifican correlaciones estadísticas a partir de grandes volúmenes de datos. Como consecuencia, las decisiones generadas por estos sistemas pueden carecer de una justificación comprensible, lo que entra en tensión directa con principios básicos del Derecho, como la motivación de las decisiones y el derecho de tutela efectiva de derechos.
La experiencia comparada evidencia con claridad este problema. Un caso ampliamente citado es el del sistema de crédito de Apple, operado en conjunto con Goldman Sachs a través de la Apple Card. Diversos usuarios denunciaron que el algoritmo otorgaba límites de crédito significativamente menores a mujeres en comparación con hombres con perfiles financieros similares. Ante los cuestionamientos, se pudo apreciar en diferentes medios que ni la empresa tecnológica ni la entidad financiera pudieron explicar de manera clara los criterios utilizados por el sistema para tomar dichas decisiones, alegando la complejidad del modelo y la imposibilidad de descomponer su lógica interna. Este caso puso en evidencia que la falta de transparencia no solo genera desconfianza, sino que impide verificar la legalidad de la decisión.
En el ámbito de las plataformas digitales, un fenómeno similar se observa en los sistemas de recomendación y priorización de contenidos utilizados por empresas como Google y Meta (Facebook). Estos algoritmos determinan qué información se muestra, en qué orden y con qué relevancia, sin que los usuarios tengan claridad sobre los criterios aplicados. La opacidad de estos sistemas ha sido objeto de cuestionamiento debido a su capacidad para influir en decisiones económicas, sociales e incluso políticas, sin un control efectivo ni mecanismos de explicación accesibles.
Desde una perspectiva jurídica, la falta de transparencia plantea un problema estructural: la ausencia de explicación limita significativamente su control. En el ámbito administrativo público y judicial, la exigencia de motivación constituye una garantía fundamental, en tanto permite conocer las razones de una decisión y, en su caso, cuestionarla. Cuando dicha decisión es adoptada por un algoritmo cuya lógica no es comprensible, se debilita el control de legalidad y se incrementa el riesgo de arbitrariedad.
En el contexto peruano, esta problemática se vincula directamente con el derecho al debido procedimiento y con la exigencia de motivación de los actos administrativos, recogida en la Ley del Procedimiento Administrativo General. Asimismo, la reciente regulación sobre inteligencia artificial incorpora el principio de transparencia como un eje fundamental para el uso de estas tecnologías, lo que refuerza la necesidad de garantizar que los sistemas automatizados sean explicables, auditables y verificables.
En este escenario, el compliance algorítmico cumple un rol determinante, al exigir la implementación de mecanismos que permitan traducir la lógica técnica en términos jurídicamente comprensibles. Ello implica, entre otros aspectos, el desarrollo de modelos interpretables, la documentación de los procesos de decisión, la trazabilidad de los datos utilizados y la incorporación de instancias de supervisión humana. No se trata de eliminar la complejidad tecnológica, sino de asegurar que esta no se convierta en un obstáculo para el control jurídico.
c.- La dificultad para impugnar decisiones automatizadas.
Un tercer riesgo relevante en el uso de inteligencia artificial en procesos decisorios es la dificultad para impugnar decisiones automatizadas, lo que impacta directamente en el ejercicio efectivo del derecho de defensa. A diferencia de las decisiones adoptadas por personas, en las que es posible identificar los criterios utilizados y cuestionarlos, los sistemas algorítmicos suelen operar bajo lógicas complejas que dificultan la comprensión de sus resultados.
En estos casos, el afectado por una decisión automatizada —por ejemplo, la denegatoria de un crédito, la asignación de un perfil de riesgo o la restricción de acceso a un servicio— enfrenta obstáculos concretos para ejercer su derecho a impugnar, en la medida en que no conoce con claridad los factores determinantes de la decisión ni los mecanismos internos del sistema. Esto genera una situación de asimetría informativa que debilita la posibilidad de cuestionar la validez del resultado.
La experiencia comparada ofrece ejemplos ilustrativos. Un caso significativo es el de los sistemas de credit scoring utilizados por entidades financieras y plataformas tecnológicas como Equifax o Experian, cuyos modelos de evaluación de riesgo crediticio determinan el acceso a financiamiento. En múltiples jurisdicciones, usuarios han cuestionado decisiones negativas sin obtener una explicación clara de los criterios aplicados, lo que limita la posibilidad de corregir errores o aportar información adicional relevante.
En el ámbito digital, una problemática similar se ha presentado en plataformas como Uber, donde conductores han sido desactivados automáticamente por sistemas de evaluación algorítmica basados en calificaciones o patrones de comportamiento. En diversos casos, los afectados han denunciado la imposibilidad de conocer las razones específicas de la decisión o de acceder a un procedimiento efectivo de revisión, lo que evidencia la ausencia de garantías mínimas de debido proceso en entornos automatizados.
Desde una perspectiva jurídica, esta situación entra en tensión con el derecho al debido procedimiento y, en particular, con el derecho a conocer las razones de una decisión y a impugnarla de manera efectiva. Una decisión que no puede ser comprendida ni cuestionada se aproxima a un acto arbitrario, aun cuando haya sido generada mediante un sistema técnicamente sofisticado.
En este escenario, el compliance algorítmico exige la implementación de mecanismos que aseguren la revisión de las decisiones automatizadas, tales como la incorporación de instancias de intervención humana, la documentación de los criterios de decisión y el establecimiento de procedimientos claros para la atención de reclamos.
d.- La ausencia de determinación de responsabilidades entre desarrolladores y usuarios.
A diferencia de los esquemas tradicionales, en los que es posible identificar con claridad al sujeto responsable, los sistemas algorítmicos operan en entornos en los que intervienen múltiples actores.
En efecto, en el desarrollo y uso de un sistema de inteligencia artificial pueden participar: el desarrollador del software, el proveedor de datos, la empresa que implementa el sistema y el usuario final que lo utiliza en la toma de decisiones. Esta multiplicidad de actores genera una discusión de fragmentación de la responsabilidad, dificultando la atribución de consecuencias jurídicas frente a un resultado perjudicial.
La experiencia internacional evidencia esta problemática. Un caso ampliamente discutido es el de los sistemas de conducción autónoma desarrollados por empresas como Tesla, cuyos vehículos operan mediante algoritmos que asisten o sustituyen parcialmente la conducción humana. En situaciones de accidentes, surge la interrogante sobre quién debe responder: el fabricante del vehículo, el desarrollador del software, el proveedor del sistema o el propio usuario. La complejidad técnica del sistema dificulta establecer con precisión el origen del fallo. Esto será motivo de análisis jurídico de la comunidad jurídica.
Un escenario similar se observa en el ámbito de la inteligencia artificial generativa, como en el caso de OpenAI y sus modelos como ChatGPT, donde pueden generarse contenidos inexactos, sesgados o potencialmente dañinos. En estos supuestos, la determinación de responsabilidad se torna compleja, en la medida en que el resultado es producto de un modelo entrenado con grandes volúmenes de datos, sin intervención directa en cada respuesta específica.
Desde el punto de vista jurídico, este escenario desafía los esquemas tradicionales de responsabilidad civil, administrativa e incluso penal, que se basan en la identificación de un autor y en la relación directa entre conducta y daño. En el caso de los sistemas algorítmicos, dicha relación se vuelve difusa, lo que exige desarrollar criterios de atribución más flexibles, centrados en la gestión del riesgo y el control del sistema.
En el contexto peruano, esta problemática deberá resolverse a partir de los principios generales de responsabilidad, pero incorporando una lógica preventiva. En este sentido, el compliance algorítmico adquiere un rol central, al exigir que las organizaciones definan con claridad los roles y responsabilidades de cada actor involucrado, así como los mecanismos de control y supervisión del sistema.
Avances normativos en el Perú
El Perú ha dado un paso decisivo con la promulgación de la Ley N.º 31814, que impulsa por primera vez un marco normativo específico para la inteligencia artificial en el país. Si bien su enfoque inicial está orientado al sector público, la norma establece principios y categorías jurídicas que resultan plenamente proyectables al ámbito privado. En particular, la ley incorpora conceptos relevantes como el sesgo algorítmico (artículo 6, literal c), reconociendo expresamente el riesgo de que los sistemas automatizados reproduzcan o amplifiquen desigualdades. Asimismo, en su artículo 7 consagra principios rectores como la no discriminación, la protección de derechos fundamentales, la sostenibilidad, la supervisión humana, la transparencia, la rendición de cuentas y la adopción de estándares de seguridad basados en riesgos, sentando así las bases de una gobernanza algorítmica alineada con estándares internacionales.
Este marco se desarrolla a través del Decreto Supremo N.º 115-2025-PCM, que aprueba el reglamento de la ley y establece lineamientos operativos para la implementación de sistemas de inteligencia artificial. Una de sus principales contribuciones es la clasificación de riesgos de los sistemas de IA (artículo 22), que permite distinguir distintos niveles de impacto y, en consecuencia, graduar las exigencias de control y supervisión. Asimismo, el reglamento regula el uso indebido de la inteligencia artificial (artículo 23), incorporando un enfoque preventivo frente a aplicaciones que puedan generar afectaciones a derechos o al interés público, lo que refuerza la necesidad de mecanismos de control ex ante en el diseño y despliegue de estos sistemas.
Finalmente, el reglamento introduce el principio de transparencia algorítmica (artículo 25), estableciendo la obligación de garantizar que los sistemas de inteligencia artificial sean comprensibles, auditables y sujetos a supervisión. Este conjunto normativo, aunque aún en etapa inicial de desarrollo, configura un punto de partida sólido para la construcción de esquemas de compliance algorítmico, no solo en el sector público, sino también en el ámbito privado, en la medida en que fija estándares mínimos de actuación compatibles con la protección de derechos fundamentales.
Hacia un modelo de compliance algorítmico
Frente a este escenario, el Compliance algorítmico se configura como una herramienta preventiva. Su implementación supone: (i) identificar riesgos asociados al uso de algoritmos, (ii) incorporar controles desde el diseño de los sistemas, (iii) establecer mecanismos de supervisión humana; y, (iv) garantizar la trazabilidad y auditabilidad de las decisiones.
No se trata de limitar la innovación, sino de asegurar que esta se desarrolle dentro del marco del Estado de Derecho.
Reflexión final
La inteligencia artificial plantea uno de los mayores retos actuales para el Derecho: asegurar que la automatización sea compatible con la legalidad y los derechos fundamentales.
En el caso peruano, la reciente regulación abre una oportunidad para avanzar hacia modelos de gobernanza tecnológica más robustos. En ese proceso, el compliance algorítmico se presenta como un instrumento clave para garantizar que las decisiones automatizadas no operen al margen del control jurídico, además de abrir una nueva especialidad para el Derecho, la misma que requiere seguir expandiéndose para adecuarse a las nuevas tecnologías.
