La primera sesión del IV edición del foro Mejores Empresas, Mejor Democracia fue un diálogo entre ingenieros y filósofos. La sesión estuvo dedicada a reflexionar sobre los desafíos éticos, políticos y humanos que plantea el desarrollo contemporáneo de la inteligencia artificial. A través de un diálogo entre Lucía Ortiz de Zárate y Juan Antonio Cordero Fuertes, moderado por Ricardo Calleja, los participantes analizaron cuestiones como la lógica de la optimización tecnológica, los sesgos, la opacidad de los sistemas automatizados y la necesidad de incorporar una formación más humanística en el diseño y gobernanza de la tecnología.

Preparación para la sesión

Antes de la sesión, se recomendó a los deliberantes la lectura de una serie de materiales preparatorios breves, con el objetivo de proporcionarles el contexto necesario sobre las principales cuestiones que serían abordadas durante el foro.

Materiales para la sesión

Entrevista de Sam Altman Síntesis de las lecturas Referencias:

Ponencia principal

En esta ocasión, el foro abordó las implicaciones morales, políticas y humanas del desarrollo tecnológico y de la inteligencia artificial. La sesión partió de una pregunta de fondo: ¿todo avance tecnológico puede considerarse realmente un progreso desde la perspectiva del desarrollo integral del ser humano? A partir de esta cuestión, los participantes reflexionaron sobre los problemas éticos y de justicia que plantea la tecnología contemporánea, el impacto de la inteligencia artificial sobre la política, la educación y la cohesión social, y el papel que pueden desempeñar las humanidades para orientar el desarrollo tecnológico hacia fines más humanos y responsables.

El propósito de la sesión fue fortalecer el juicio moral de ingenieros, directivos y responsables públicos en un contexto en el que la tecnología —convertida en la gran burocracia de nuestro tiempo— tiende a diluir la responsabilidad individual y a ocultar decisiones políticas bajo una apariencia de neutralidad técnica. El diálogo estuvo moderado por Ricardo Calleja, lecturer de Ética Empresarial en IESE Business School, y contó con la participación de Lucía Ortiz de Zárate, profesora de filosofía de la Universidad Autónoma de Madrid y Juan Antonio Cordero Fuertes, profesor del École Polytechnique, quienes ofrecieron perspectivas complementarias —y en ocasiones contrapuestas— sobre la naturaleza de la inteligencia artificial, los límites de la optimización tecnológica y el lugar de la responsabilidad humana en la toma de decisiones automatizadas.

¿Qué entendemos realmente por “avance” en inteligencia artificial?

La conversación comenzó con una pregunta aparentemente sencilla planteada por Ricardo Calleja: ¿qué sentimos cuando leemos un titular que anuncia un nuevo avance en inteligencia artificial? ¿Alegría, preocupación o simplemente cautela antes de emitir un juicio?

A partir de esta cuestión emergió una primera reflexión crítica sobre la propia idea de progreso tecnológico. Lucía Ortiz de Zárate señaló que la mayoría de los supuestos avances en inteligencia artificial suelen estar asociados a una lógica de optimización: sistemas capaces de hacer más cosas, más rápido y con mayor eficiencia. Sin embargo, advirtió que este tipo de progreso no posee, por sí mismo, un significado ético o moral. Para ella, un verdadero avance sería, por ejemplo, una reducción sustancial del consumo energético o una mejora significativa en la eficiencia de los recursos necesarios para desarrollar estas tecnologías. La cuestión central no es únicamente cuánto crece la capacidad tecnológica, sino hacia dónde queremos dirigirla y qué costes estamos dispuestos a asumir para lograrlo, especialmente en términos ecológicos y sociales.

Juan Antonio Cordero Fuertes introdujo entonces una cuestión terminológica fundamental: ¿de qué métricas hablamos exactamente cuando afirmamos que una inteligencia artificial “mejora”? ¿Velocidad de procesamiento? ¿Capacidad de cómputo? ¿Consumo energético? A su juicio, toda discusión sobre optimización implica necesariamente una decisión política previa acerca de qué variables queremos optimizar y por qué. La inteligencia artificial no puede separarse de las decisiones humanas que determinan sus objetivos, los datos que utiliza y la forma en que se modela la realidad.

En este sentido, insistió en que las cuestiones verdaderamente políticas no residen en el algoritmo en sí mismo, sino en todo aquello que lo rodea: la selección de datos, la definición de categorías, las métricas elegidas y las simplificaciones necesarias para traducir una realidad compleja a un sistema computacional. Cada proceso de modelización implica, inevitablemente, dejar fuera dimensiones de la realidad que no pueden ser fácilmente cuantificadas.

La problemática del término “inteligencia”

Uno de los grandes ejes del diálogo giró en torno al propio concepto de “inteligencia artificial”. Ambos ponentes coincidieron en cuestionar el uso del término, aunque desde perspectivas diferentes.

Juan Antonio Cordero Fuertes sostuvo que lo que hoy denominamos inteligencia artificial no es realmente inteligencia, sino procesamiento masivo de datos. El auge actual responde a la convergencia de varios factores: la existencia de algoritmos avanzados, la capacidad masiva de recolección de datos, la infraestructura global de internet y la enorme potencia de procesamiento alcanzada por los microprocesadores contemporáneos. La revolución actual, señaló, es fundamentalmente una revolución de computación, automatización y digitalización.

Lucía Ortiz de Zárate fue aún más lejos al afirmar que el propio término “inteligencia” resulta profundamente problemático porque genera expectativas desproporcionadas y desplaza el debate moral hacia lugares equivocados. Recordó que, desde Platón y Aristóteles, la idea de inteligencia ha estado históricamente vinculada a relaciones de dominio: unos nacen para gobernar y otros para obedecer. Bajo esa lógica, si una inteligencia artificial llegara a ser “más inteligente” que los seres humanos, deberíamos aceptar su dominación como algo natural. Sin embargo, advirtió que esa concepción de la inteligencia es extraordinariamente estrecha y excluye atributos fundamentales como el cuidado, la benevolencia, la intuición o la capacidad de comprender emocionalmente a los demás.

Precisamente, varias de las habilidades tradicionalmente menos valoradas en el ámbito profesional —y frecuentemente asociadas al ámbito femenino— comienzan ahora a adquirir una nueva relevancia en un contexto en el que las máquinas parecen capaces de automatizar muchas tareas vinculadas al cálculo, el análisis o el razonamiento lógico. La gestión emocional, las capacidades interpersonales o la intuición emergen así como dimensiones difícilmente reducibles a un paradigma puramente optimizador.

Neutralidad, objetividad y sesgos

La cuestión de los sesgos condujo a uno de los debates más complejos de la sesión: la diferencia entre neutralidad y objetividad.

Juan Antonio Cordero Fuertes defendió que el núcleo matemático de los algoritmos de optimización sí puede considerarse neutral. El problema aparece en las decisiones políticas y sociales que rodean al sistema: qué datos se utilizan, cómo se clasifican y qué variables se consideran relevantes. Puso como ejemplo sistemas de selección de personal entrenados exclusivamente con datos históricos de hombres, reproduciendo así sesgos estructurales ya presentes en la sociedad.

Lucía Ortiz de Zárate introdujo entonces una distinción importante entre neutralidad y objetividad. A su juicio, los procesos técnicos pueden aspirar a la objetividad en la medida en que siguen metodologías verificables y contrastables. Sin embargo, la neutralidad es otra cuestión distinta. Toda tecnología “habla desde algún lugar”, incorpora una determinada visión del mundo y refleja prioridades concretas, aunque muchas veces estas permanezcan invisibles para el usuario. Mientras que en un medio de comunicación puede intuirse desde qué posición ideológica se construye un discurso, en la inteligencia artificial esa perspectiva suele permanecer oculta.

Por ello, insistió en la necesidad de abandonar la idea de que la tecnología es neutral. La opacidad tecnológica genera una falsa sensación de objetividad y contribuye a construir un aura de misterio alrededor de la inteligencia artificial. En muchos casos, señaló, aquello que interpretamos como “inteligencia” es simplemente el resultado de no comprender realmente cómo funcionan estos sistemas.

Juan Antonio Cordero Fuertes matizó esta posición distinguiendo entre ciencia y tecnología. La ciencia puede aspirar a cierta neutralidad metodológica; sin embargo, la tecnología deja de ser neutral en el momento en que se aplica a fines concretos dentro de una sociedad determinada.

Tecnología, burocracia y dilución de la responsabilidad

Otro de los grandes temas abordados fue la relación entre tecnología, burocracia y responsabilidad política.

Juan Antonio Cordero Fuertes describió algunas de las declaraciones públicas de líderes tecnológicos contemporáneos como discursos propios de un burócrata más que de un científico: intervenciones cargadas de lenguaje oscuro y opaco, orientadas a dificultar la comprensión pública y a diluir responsabilidades. En este contexto, la tecnología se convierte frecuentemente en un mecanismo utilizado por gobiernos y organizaciones para evitar asumir directamente determinadas decisiones.

A partir de referencias al universo kafkiano, describió el riesgo de construir sistemas donde “no hay nadie al otro lado”: estructuras tecnológicas opacas ante las cuales los ciudadanos no encuentran interlocutores capaces de explicar o justificar las decisiones adoptadas. Esta lógica se agrava cuando la tecnología añade capas crecientes de distancia entre las personas y los procesos que organizan su vida cotidiana. Cuanto mayor es la eficiencia del sistema, mayor suele ser también la desconexión respecto a aquello que ocurre detrás de la interfaz tecnológica.

Frente a ello, defendió la necesidad de que los algoritmos de toma de decisiones sean públicos, auditables y estén sometidos a responsabilidades humanas claras. Lucía Ortiz de Zárate coincidió en la importancia de la transparencia, aunque advirtió que no basta con hacer públicos los sistemas: también deben ser explicables y comprensibles. La ciudadanía necesita entender cómo y por qué se toman determinadas decisiones para poder cuestionarlas, aceptarlas o rechazarlas democráticamente.

¿Estamos pensando ya como máquinas?

La conversación concluyó con una reflexión sobre la formación humanística de ingenieros y responsables de toma de decisiones. El problema de fondo, señalaron los participantes, no es únicamente cuándo las máquinas llegarán a pensar como los seres humanos, sino cuándo los seres humanos hemos empezado ya a pensar como máquinas.

Juan Antonio Cordero Fuertes sostuvo que la inteligencia artificial representa la culminación de un modelo civilizatorio basado en la protocolización de problemas: convertir tareas complejas en procedimientos repetibles y automatizables. La IA no transforma radicalmente nuestra civilización, sino que lleva hasta sus últimas consecuencias una lógica que las sociedades industriales vienen desarrollando desde hace siglos. La verdadera cuestión no es únicamente qué hará la máquina, sino qué haremos nosotros con la capacidad excedente que genera.

Lucía Ortiz de Zárate cuestionó, por su parte, la tendencia contemporánea a conceder automáticamente legitimidad a cualquier innovación tecnológica bajo la promesa de que sus posibles daños podrán corregirse en el futuro. Tal vez, propuso, deberíamos invertir el razonamiento: comenzar preguntándonos qué tipo de sociedad queremos construir y solo después decidir qué tecnologías son compatibles con ella. No todas las tecnologías, advirtió, son necesariamente coherentes con ideales de libertad, igualdad o justicia.

En este contexto, ambos coincidieron en la importancia de incorporar formación humanística en el desarrollo tecnológico y en la toma de decisiones empresariales y políticas. Sin embargo, Lucía recordó que la responsabilidad no recae únicamente sobre ingenieros o científicos: existen múltiples actores implicados —empresas, gobiernos, inversores y reguladores—, aunque algunos posean una capacidad mucho mayor que otros para orientar el rumbo tecnológico de nuestras sociedades.

Deliberación

Basado en la ponencia arriba, os invitamos a responder a estas preguntas de deliberación.

Preguntas para la deliberación

1. ¿Para qué consideras que puede ser útil utilizar la IA en tu organización? Las deliberaciones pusieron de manifiesto un amplio consenso respecto a la utilidad práctica que la inteligencia artificial puede aportar a las organizaciones. Aunque los ejemplos variaron en función del sector y de las responsabilidades de los participantes, la mayoría de las intervenciones coincidieron en señalar que el principal valor de estas herramientas reside en su capacidad para procesar grandes volúmenes de información, automatizar tareas repetitivas y facilitar una toma de decisiones más ágil y fundamentada. En distintos ámbitos de actividad, la inteligencia artificial fue identificada como una herramienta capaz de mejorar significativamente la eficiencia operativa. En el sector público, por ejemplo, se destacó su potencial para agilizar procedimientos administrativos, aumentar la transparencia y mejorar la experiencia de ciudadanos y empresas en su interacción con la Administración. Algunos participantes señalaron también su utilidad para optimizar procesos relacionados con la contratación pública y la gestión de licitaciones. En el ámbito financiero y de la inversión, se subrayó su capacidad para analizar grandes cantidades de datos, elaborar informes complejos y desarrollar modelos de análisis comparativo que permitan identificar tendencias y apoyar la toma de decisiones. Del mismo modo, en áreas jurídicas se mencionó su utilidad para la revisión documental, la elaboración de contratos y el tratamiento de grandes volúmenes de jurisprudencia, especialmente cuando se trabaja en entornos cerrados y seguros. Otra de las aplicaciones más recurrentes fue la automatización de tareas de carácter administrativo o técnico. Los participantes destacaron su capacidad para redactar documentos, generar código informático, elaborar borradores de correos electrónicos o estructurar presentaciones. Esta automatización permite liberar tiempo para actividades que requieren un mayor componente de juicio profesional, pensamiento estratégico o resolución de problemas complejos. En el ámbito de los recursos humanos se mencionó su utilización para el cribado inicial de currículums y la gestión de comunicaciones con candidatos, mientras que en otros sectores se identificaron aplicaciones más específicas. En gastronomía, por ejemplo, se señaló su utilidad para analizar patrones de consumo, gestionar información relacionada con alérgenos o apoyar el diseño de nuevas recetas. En la industria audiovisual se destacó su impacto creciente en ámbitos como los efectos especiales o el doblaje. Algunos participantes pusieron también el acento en el potencial de la inteligencia artificial como herramienta de apoyo al aprendizaje y al trabajo intelectual. La capacidad para sintetizar información procedente de múltiples fuentes, estructurar conocimiento o generar propuestas iniciales sobre materias poco conocidas fue valorada como una ayuda para aumentar la productividad y reforzar el conocimiento experto de los profesionales. Asimismo, se compartieron experiencias relacionadas con el uso de modelos predictivos avanzados para la elaboración de escenarios futuros y la identificación de patrones complejos. En determinados ámbitos especializados, estos sistemas permiten detectar correlaciones y realizar proyecciones que resultarían difíciles de alcanzar mediante métodos analíticos tradicionales. Durante la puesta en común de las distintas mesas emergieron dos grandes ámbitos de utilidad compartidos. El primero es la capacidad de sintetizar cantidades ingentes de información para facilitar la obtención de conclusiones de forma rápida y eficiente. El segundo es su potencial para desarrollar ejercicios de prospectiva y construcción de escenarios, ofreciendo nuevas capacidades de anticipación y apoyo a la toma de decisiones. Finalmente, los participantes coincidieron en que la utilidad de la inteligencia artificial depende menos del sector concreto en el que opera una organización que de la naturaleza de las tareas que desempeñan sus profesionales. En este sentido, la automatización de procesos mecánicos y repetitivos apareció como el beneficio más inmediato y transversal identificado durante la deliberación. 2. A la luz de la ponencia que acabamos de escuchar, ¿cómo visualizas el impacto que va a tener la IA en el futuro de nuestra sociedad y de nuestra democracia? Las deliberaciones reflejaron una visión ambivalente sobre el impacto futuro de la inteligencia artificial. Si bien los participantes reconocieron ampliamente su potencial para impulsar avances significativos en ámbitos como la salud, la investigación científica o la productividad, también expresaron preocupaciones profundas sobre sus posibles efectos en la democracia, el empleo, la cohesión social y determinadas capacidades humanas fundamentales. Uno de los temas que generó mayor debate fue la relación entre inteligencia artificial y democracia. Varios participantes señalaron que los sistemas democráticos presentan, por naturaleza, procesos de deliberación y toma de decisiones más lentos y complejos que los modelos autoritarios. En un contexto marcado por la creciente importancia de la innovación tecnológica, surgió la preocupación de que la presión por la eficiencia pueda favorecer modelos de gobernanza menos participativos o más centralizados. Algunos participantes se preguntaron hasta qué punto las democracias serán capaces de competir en este nuevo escenario sin renunciar a los principios que las caracterizan. La desinformación apareció también como uno de los principales riesgos identificados. La capacidad de generar imágenes, vídeos y contenidos falsos cada vez más sofisticados plantea interrogantes sobre la posibilidad de distinguir entre información veraz y manipulada. Los participantes advirtieron que esta situación podría afectar a la formación de la opinión pública, aumentar la polarización y debilitar la confianza en instituciones, medios de comunicación y procesos electorales. En relación con ello, se debatió sobre el papel de los algoritmos en la configuración del espacio público. Algunos participantes alertaron sobre el riesgo de que los sistemas de recomendación refuercen dinámicas de aislamiento informativo, exponiendo a las personas únicamente a contenidos afines a sus propias creencias. Esta tendencia podría contribuir a la fragmentación social y dificultar la construcción de espacios compartidos de deliberación democrática. El impacto sobre el empleo constituyó otro de los grandes ejes de discusión. A diferencia de revoluciones tecnológicas anteriores, varios participantes señalaron que la inteligencia artificial afecta especialmente a tareas de carácter intelectual y profesional que tradicionalmente requerían una elevada formación académica. Esta circunstancia genera incertidumbre sobre el futuro de determinados perfiles cualificados y sobre la capacidad de los sistemas educativos y laborales para adaptarse a las nuevas exigencias. Una preocupación recurrente fue la situación de los profesionales más jóvenes. Algunos participantes plantearon que la automatización de tareas de entrada o aprendizaje podría limitar las oportunidades para adquirir la experiencia necesaria que tradicionalmente permitía desarrollar criterio profesional y capacidades de liderazgo. En este sentido, surgió la pregunta sobre cómo se formarán los expertos y directivos del futuro si parte de los procesos de aprendizaje práctico quedan sustituidos por sistemas automatizados. Las deliberaciones también reflejaron posiciones divergentes respecto al efecto de la inteligencia artificial sobre la desigualdad. Mientras algunos participantes destacaron su capacidad para democratizar el acceso al conocimiento y ampliar las capacidades de personas y organizaciones, otros advirtieron que los beneficios podrían concentrarse en quienes controlan las infraestructuras, los datos y los desarrollos tecnológicos más avanzados. Desde esta perspectiva, existe el riesgo de que las brechas económicas y sociales existentes se amplíen aún más. Junto a estas cuestiones, surgieron reflexiones sobre el impacto de la inteligencia artificial en determinadas capacidades humanas. Algunos participantes expresaron preocupación por una posible pérdida de hábitos asociados a la lectura profunda, el pensamiento crítico y el esfuerzo intelectual sostenido. La disponibilidad inmediata de respuestas y soluciones podría modificar la forma en que las personas aprenden, analizan problemas y construyen conocimiento. Asimismo, se debatió sobre el papel creciente que determinadas tecnologías están adquiriendo en ámbitos tradicionalmente reservados a las relaciones humanas. Algunos participantes observaron que las interacciones con asistentes conversacionales o sistemas inteligentes comienzan a ocupar espacios vinculados al acompañamiento personal, la escucha o el apoyo emocional. Esta tendencia fue asociada por algunos grupos a un posible aumento del aislamiento social y a nuevas formas de dependencia tecnológica. La dependencia de infraestructuras digitales constituyó otra preocupación compartida. Los participantes señalaron el riesgo de que individuos y organizaciones pierdan progresivamente determinadas capacidades prácticas o conocimientos básicos al delegar cada vez más funciones en sistemas automatizados. Esta dependencia podría aumentar la vulnerabilidad colectiva ante posibles fallos tecnológicos o interrupciones de los servicios digitales. Pese a estas preocupaciones, las deliberaciones también pusieron de manifiesto una valoración ampliamente positiva de las oportunidades que ofrece la inteligencia artificial. Los participantes destacaron especialmente su potencial para acelerar avances en medicina, investigación científica y desarrollo de nuevos tratamientos, gracias a su capacidad para analizar grandes volúmenes de información y detectar patrones difíciles de identificar mediante métodos tradicionales. Del mismo modo, se valoró positivamente su capacidad para liberar a las personas de tareas repetitivas o de escaso valor añadido, permitiéndoles dedicar más tiempo a actividades relacionadas con la creatividad, el análisis, la innovación o la toma de decisiones. Algunos participantes señalaron también posibles beneficios en materia de sostenibilidad, al facilitar procesos más eficientes y reducir determinados consumos de recursos. La puesta en común concluyó con una votación entre los participantes sobre el balance general que anticipaban respecto al impacto de la inteligencia artificial en el largo plazo. Los resultados reflejaron una posición moderadamente optimista: trece participantes consideraron que el impacto global será positivo, mientras que ocho manifestaron una visión más pesimista. Aunque las deliberaciones pusieron de manifiesto preocupaciones significativas relacionadas con la desinformación, el empleo, la desigualdad o la erosión de determinadas capacidades humanas, la mayoría de los participantes consideró que las oportunidades asociadas al progreso científico, la mejora de la productividad y el potencial de la IA para resolver problemas complejos superan los riesgos identificados. En cualquier caso, la discusión permitió constatar que el resultado final dependerá en gran medida de la capacidad de las instituciones, las empresas y la sociedad para establecer mecanismos de gobernanza que orienten el desarrollo tecnológico hacia fines compatibles con la dignidad humana, la cohesión social y los principios democráticos.