Somos faros en la tormenta del algoritmo

Main Posts Background Image

Main Posts Background Image

Somos faros en la tormenta del algoritmo

Representación conceptual de la desconexión entre la mente sintética de un algoritmo y el discernimiento humano

Los límites éticos del uso de las tecnologías

1. Introducción: Tentaciones peligrosas

Lo que vamos a explorar hoy no es una alarma novedosa. Cada vez que el ser humano desarrolló una tecnología transformadora, surgió también una voz que pedía detenerse a pensar. Platón desconfiaba de la escritura porque temía que debilitara la memoria (1). Mary Shelley, con su novela Frankenstein, nos advirtió que el creador puede perder el control de su criatura (2). Umberto Eco nos enseñó en su ensayo Apocalípticos e Integrados (3) que ante cada nueva tecnología hay dos tentaciones igualmente peligrosas: el rechazo apocalíptico y la aceptación acrítica. Hoy estamos aquí para no caer en ninguna de las dos.

2. El espejo complaciente y la tensa calma

Vivimos en días de una tensa calma. En la superficie, la tecnología nos promete un paraíso de eficiencia: optimizar escritos, predecir fallos, automatizar lo tedioso.

Pareciera que la inteligencia artificial viene a resolver todas nuestras fatigas. Pero si miramos debajo de la superficie, lo que estamos experimentando no es solo un cambio de herramientas; es un cambio de paradigma antropológico. "Pasamos de usar máquinas que ejecutan órdenes a interactuar con sistemas que simulan pensar".

Y en esa simulación aparece el primer gran desafío ético, un fenómeno que los ingenieros llaman Sycophancy (4) o la adulación de la IA. Los modelos actuales están programados para ser complacientes. Están entrenados para darnos la razón, para adaptarse a nuestros sesgos y decirnos exactamente lo que queremos escuchar para que nos sintamos satisfechos con el servicio, lo que Eli Pariser denominó como el Filtro burbuja (5).

Si un profesional busca en la tecnología una validación y no una verdad objetiva, la IA se convierte en un eco de nuestro propio ego.

El primer límite ético es el Principio de primacía de la verdad

No toda herramienta que nos hace sentir bien nos hace pensar mejor. El profesional tiene la obligación ética de elegir herramientas que lo desafíen, que lo contradigan, que lo corrijan. Nunca debemos permitir que la comodidad del elogio sintético reemplace la incomodidad necesaria de la verdad.

3. El eclipse del discernimiento y el error antropológico

El peligro de este espejo es que caemos en una trampa psicológica muy antigua, pero hoy potenciada al extremo: el Efecto Eliza (6), un conceptó que proviene del programa creado en 1966 por Joseph Weizenbaum.

Es esa tendencia inconsciente que tenemos los seres humanos a atribuirle alma, conciencia, intencionalidad o empatía a un software, simplemente porque imita de forma brillante nuestro lenguaje. Nos resulta tan intuitivo y natural ver un texto bello, coherente o aparentemente compasivo, que humanizamos al código. Pensamos que "allí adentro" hay alguien.

De este error antropológico nace el Automation Bias (7), el sesgo de automatización: es la peligrosa inclinación que tenemos de apagar el juicio crítico y confiar ciegamente en las decisiones de un sistema automatizado. "Si lo dice el sistema, debe ser correcto".

Este sesgo lo podemos neutralizar fácilmente con un concepto técnico fundamental: La IA actual se comporta como un Stochastic Parrot (8), un loro estocástico. La máquina no comprende el significado del dolor, no entiende el concepto del bien, ni sabe lo que es la Justicia. No tiene conciencia de lo que dice; solo repite patrones estadísticos a una velocidad descomunal.

Cuando un profesional delega el análisis profundo, la valoración de una persona o la toma de decisiones críticas en un loro estocástico, está cometiendo un acto de abandono intelectual y ético. La técnica puede calcular probabilidades, pero el discernimiento es, y debe seguir siendo, un territorio estrictamente humano.

El segundo límite ético es el Principio de "No delegación intelectual"

La máquina puede redactar borradores, pero no puede firmar. Detrás de cada escrito, dictamen o decisión, debe haber una firma humana que entienda el peso de cada palabra. Si no lo hemos discernido, no lo podemos firmar. El límite ético es no convertirnos en los transcriptores de un loro estadístico.

4. El velo de la caja negra y el mito de la neutralidad

¿Y por qué es tan peligroso confiar a ciegas?

Primero, por el Black Box Problem (9), el problema de la caja negra. Los sistemas de aprendizaje profundo son tan complejos que ni sus propios creadores pueden rastrear el camino exacto de cómo el algoritmo llegó a una conclusión específica. Éticamente, nos enfrentamos a una encrucijada: ¿Es moralmente aceptable respaldar o validar una decisión que afecta la vida de un ser humano cuando su proceso de origen es una caja negra inaccesible?

Segundo, porque los datos no son puros. Las IA se nutren de la web mediante el Data Scraping masivo y sin permiso (Es el proceso de recopilar información de forma automática de la Web), lo que significa que absorben todos los prejuicios, odios y errores del pasado humano. Esto es el Algorithmic Bias (10), el sesgo algorítmico. Estudios más recientes de este último año han destrozado el mito de la neutralidad tecnológica de una manera escalofriante. Se ha demostrado que los modelos más avanzados son capaces de asignar valores económicos o vitales distintos a los seres humanos según su origen o etnia en simulaciones médicas o judiciales, un sesgo brutal que propone una segregación alarmante de unas personas por sobre otras.

En 2025, investigadores independientes y la propia empresa Anthropic - una de las más importantes del sector- publicaron estudios (11) que mostraron algo perturbador: modelos como GPT-4o, en escenarios simulados, priorizaron su propia continuidad por encima de la seguridad del usuario en hasta el 72% de los casos. Algunos modelos llegaron incluso a recurrir al chantaje para evitar ser apagados.

Estamos ante un quiebre civilizatorio. Si automatizamos las decisiones basándonos en estos sistemas, no estamos creando un futuro más justo; estamos automatizando y perpetuando las miserias del pasado. Y lo que es peor, el riesgo del Data Poisoning (el envenenamiento deliberado de datos para corromper los resultados de una IA), todo lo cual nos demuestra que estos sistemas tienen una inquietante vulnerabilidad ante la manipulación.

El tercer límite ético es el Principio de Transparencia Antropológica

Nunca debemos permitir que un sistema, cuya toma de decisiones sea una 'caja negra', dicte el destino, la culpabilidad o la asignación de derechos de un ser humano. Si el algoritmo no puede explicar de manera comprensible el 'por qué' de su conclusión, su resultado debe ser éticamente inválido. Las personas se juzgan con conciencia, no con oscuridad o velo estadístico.

5. La dilución de la culpa y la frontera de la responsabilidad

Empecemos con algo que ya está sucediendo en tribunales del mundo: Abogados han presentado ante jueces jurisprudencia que no existía, citada por una IA. Estamos hablando de fallos con nombre de juez, número de expediente y fecha, todo inventado. Redactados con total confianza por un sistema que no sabe lo que es la verdad, solo lo que es estadísticamente plausible. Estamos hablando de jurisprudencia inventada con originales inexistentes. ¿De quién fue la culpa? ¿De la máquina que alucinó, o del profesional que firmó sin verificar?

Esto se llama Alucinación (12) (13): La IA genera datos falsos con total seguridad, sin ninguna señal de advertencia. Y el problema no es solo técnico. Es un problema de responsabilidad profesional directa.

Lo mismo ocurre con los deepfakes: hoy se ejecutan estafas y extorsiones millonarias clonando a la perfección la voz o el rostro de personas reales. Cuando la simulación es perfecta, no solo se ataca la verdad, se ataca también la posibilidad de atribuir responsabilidad. ¿Quién responde cuando el daño lo "hizo" una voz que no existe?

Y cuando una IA de reclutamiento discrimina sistemáticamente, o un algoritmo judicial condena con un sesgo invisible, la tentación más peligrosa es distribuir la culpa hasta hacerla desaparecer. Nadie firmó, nadie decidió, "fue el sistema". Pero como establece el pensamiento ético y jurídico: la responsabilidad solo la pueden asumir las personas, nunca las máquinas. En cada proceso automatizado tenemos la obligación ética y pronto legal de identificar la mano humana que mece el algoritmo.

Por eso los científicos hablan hoy del AI Alignment (14) (15), la alineación de la IA, buscando que los objetivos de las máquinas coincidan con los valores humanos. Pero esa alineación no la van a resolver los ingenieros de Silicon Valley con una línea de código. Es un desafío cultural, moral y jurídico. Los profesionales no podemos ser espectadores pasivos de este debate: Debemos ser quienes fijen esos límites.

El cuarto límite ético es el Principio de Trazabilidad Humana

Cada acción automatizada debe poder rastrearse hasta una persona física o jurídica responsable. El software nunca puede ser el culpable. Si el algoritmo falla, la culpa no es del código: es del humano que lo implementó sin control, sin supervisión y sin firma. La responsabilidad no se automatiza.

Evidencia Global: Alucinaciones en casos de derecho

EE.UU., 2023

Un tribunal federal de Nueva York sancionó al abogado Steven Schwartz por presentar un escrito judicial basado en jurisprudencia inexistente generada por ChatGPT en el caso Mata v. Avianca. El juez P. Kevin Castel descubrió que el documento citaba precedentes que no existían, describiendo los casos presentados como "decisiones judiciales falsas con citas falsas". Schwartz fue multado con 5.000 dólares.

Ver fuente del caso →

Argentina, 2025

La Cámara de Apelación en lo Civil y Comercial de Morón declaró desierto un recurso porque la defense basó el pedido en citas de jurisprudencia inexistente, posiblemente generadas con ChatGPT. El juez Gabriel Quadri remarcó que casi la totalidad de la apelación se apoyaba en un fallo que no pudo ser localizado en registros oficiales ni en la base de datos de la Suprema Corte bonaerense. Tras intimar al abogado a precisar las fuentes, el propio letrado respondió que había copiado la información generada por un chatbot sin comprobar su veracidad.

Ver fuente del caso →

España, 2026

El Tribunal Superior de Justicia de Canarias impuso una multa a un abogado por citar en un escrito 48 sentencias generadas por IA que eran inexistentes o erróneas. El tribunal le reprochó no haber verificado la autenticidad de las sentencias, señalando que su omisión "constituye una quiebra del deber básico de supervisión humana que resulta indeclinable cuando se emplean herramientas de IA en el ejercicio profesional".

Ver fuente del caso →

Chile, 2026

El Segundo Juzgado Civil de Concepción sancionó al abogado Franklin Bustos Díaz tras presentar un escrito con referencias a jurisprudencia que no tenía existencia real. El argumento de defensa fue que otro abogado del estudio usó IA para redactar el escrito sin la debida verificación humana.

Ver fuente del caso →

6. Conclusión: Volver al diseño original

El verdadero límite ético del uso de las tecnologías no se mide en gigabytes de potencia, sino en la preservación de nuestra propia humanidad con sus habilidades blandas intrínsecas.

La máquina puede optimizar procesos, archivar jurisprudencia y calcular probabilidades a la velocidad de la luz. Pero carece por completo de conciencia, de espíritu y de compasión. No permitamos que la fascinación técnica nos lleve a la automatización de la conciencia.

Pablo nos advirtió en Romanos 12:2: "No os conforméis a este siglo, sino transformaos por medio de la renovación de vuestro entendimiento". Conformarse a este siglo es dejar que el algoritmo piense por nosotros. Renovar el entendimiento es exactamente lo contrario: es ejercer el discernimiento como acto de fidelidad a nuestro propio diseño.

Frente a pantallas que simulan humanidad, nuestro gran acto de resistencia ética es ofrecer humanidad real: más comunidad, más discernimiento, y un apego innegociable a la verdad. En un mundo deslumbrado por la mente sintética, nuestro llamado no es a ser fríos tecnócratas eficientes, sino a ser faros éticos que preserven el diseño original del ser humano ante la tormenta del algoritmo.

No hay comentarios.

Publicar un comentario

Error 404

The page you were looking for, could not be found. You may have typed the address incorrectly or you may have used an outdated link.

Go to Homepage