15 cosas que todos deberían entender sobre cómo funciona realmente la IA

La IA ha entrado en la vida cotidiana más rápido de lo que la mayoría de la gente la comprende. Millones la usan a diario: para redactar correos electrónicos, generar imágenes, escribir código, resumir documentos, sin una idea clara de lo que sucede debajo. Eso no es pereza. Estos sistemas son realmente complejos, construidos a partir de décadas de matemáticas e ingeniería, y las empresas que los desarrollan a menudo prefieren que esa complejidad permanezca opaca.

Pero la brecha entre lo que la IA puede hacer y lo que la gente cree que está haciendo crea problemas reales. Las personas antropomorfizan sistemas que no tienen experiencia interna. Confían en resultados que son incorrectos con confianza. Asumen que la IA está "pensando" cuando está haciendo algo bastante diferente. Pierden las limitaciones reales, y a veces las capacidades reales, porque su modelo mental es inexacto.

Este artículo no trata sobre si la IA es buena o mala. Se trata de lo que realmente es: cómo aprende, cómo genera resultados, de dónde provienen sus fallos y por qué los problemas que afectan a estos sistemas son estructurales en lugar de incidentales. Comprender estas cosas no te convertirá en un ingeniero de aprendizaje automático. Te convertirá en un lector más agudo de la cobertura de IA, un usuario más cuidadoso de las herramientas de IA y un mejor juez de las afirmaciones hechas por las empresas que las construyen.

Los 15 conceptos aquí cubren toda la cadena, desde cómo se entrenan los modelos hasta por qué alucinan, desde lo que realmente significa "parámetros" hasta por qué el problema de alineación es más difícil de lo que parece. Algunas de estas ideas son técnicas pero no complicadas. Otras son filosóficas pero fundamentadas en decisiones de ingeniería reales. Todas importan si quieres comprometerte honestamente con la tecnología que está remodelando cómo se realiza el trabajo, cómo se crea el contenido y cómo se toman decisiones en medicina, derecho, finanzas y gobierno.

Nada de esto requiere un trasfondo en matemáticas o ciencias de la computación. Solo requiere la disposición a examinar cómo realmente funciona algo en lugar de cómo se ha comercializado. Esa distinción es, en este momento, más importante de lo que podría parecer.

Yuichiro Chino / Getty Images

Los sistemas de IA no piensan. Identifican patrones en grandes cantidades de datos y usan esos patrones para producir resultados: texto, imágenes, predicciones, clasificaciones. La distinción importa porque "pensar" implica algo bastante diferente: razonamiento, intencionalidad, comprensión y la capacidad de saber cuándo te equivocas. Los sistemas de IA, tal como están construidos actualmente, no tienen ninguna de esas propiedades como los humanos.

La palabra "inteligencia" en "inteligencia artificial" siempre ha sido un poco engañosa. El término data de una conferencia de 1956 en Dartmouth College organizada por John McCarthy, quien la acuñó en parte para atraer fondos de investigación. Lo que los investigadores querían decir entonces era limitado: la capacidad de realizar tareas que, si fueran hechas por un humano, requerirían inteligencia. Eso no es lo mismo que ser inteligente.

Los sistemas de IA modernos, particularmente los grandes modelos de lenguaje, son extraordinariamente buenos en el reconocimiento de patrones. Dada una solicitud, producen una continuación estadísticamente probable basada en patrones extraídos de miles de millones de ejemplos de texto escrito por humanos. La salida puede parecer un razonamiento. Puede sonar reflexiva, articulada, incluso profunda. El proceso que lo genera se trata fundamentalmente de predicción, no de comprensión.

Por eso los sistemas de IA pueden producir texto fluido y confiado sobre un tema en el que no tienen una base real. El modelo no está verificando hechos contra algún modelo interno de la realidad. Está produciendo texto que se ajusta a los patrones de cómo parece el texto correcto sobre ese tema. Cuando acierta, los patrones eran precisos. Cuando se equivoca catastróficamente, los patrones lo engañaron.

La implicación práctica es significativa. Un sistema que no puede distinguir entre lo verdadero y lo falso, o entre lo que sabe y lo que está confabulando, no debe tratarse como una fuente de información confiable sin verificación externa. Puede ser una herramienta útil para generar borradores, explorar ideas u organizar pensamientos. No es una mente. Es una máquina de emparejamiento de patrones muy sofisticada, y tratarlo como algo más crea errores previsibles y evitables.

Entender este único punto replantea casi todo lo demás sobre cómo se comporta la IA y por qué falla de las maneras específicas que lo hace.

Eugene Mymrin / Getty Images

Cada sistema de IA aprende de los datos. La calidad, cantidad y composición de esos datos determinan casi todo sobre el comportamiento del modelo: lo que sabe, qué sesgos refleja, qué idiomas maneja bien, con qué temas lucha y qué tipo de errores comete.

Para los grandes modelos de lenguaje, los datos de entrenamiento generalmente consisten en enormes volúmenes de texto recopilados de internet, libros digitalizados, repositorios de código, Wikipedia, artículos académicos y otras fuentes. La composición exacta varía según el modelo y la empresa, y la mayoría de las organizaciones no publican todos los detalles de lo que hay en sus conjuntos de entrenamiento. La escala es inmensa: GPT-3, lanzado por OpenAI en 2020, fue entrenado con aproximadamente 570 gigabytes de texto filtrado. Los modelos de frontera más recientes usan significativamente más.

El modelo no memoriza estos datos de la manera en que un humano memoriza hechos. En cambio, extrae patrones estadísticos: qué palabras tienden a seguir a otras, qué conceptos aparecen juntos, cómo están estructurados los diferentes estilos de escritura. Esos patrones se codifican en los pesos internos del modelo, los valores numéricos que determinan cómo responde el modelo a cualquier entrada dada.

Los datos de entrenamiento son, en efecto, el mundo que el modelo conoce. Si ciertas perspectivas, idiomas o dominios están subrepresentados en los datos de entrenamiento, el modelo será correspondientemente peor en manejarlos. Si los datos de entrenamiento contienen errores fácticos —y el texto de internet ciertamente los tiene— el modelo puede reproducir esos errores con plena confianza.

Los cortes de datos de entrenamiento también importan. La mayoría de los modelos tienen una fecha de corte de conocimiento, después de la cual no tienen conocimiento directo de los eventos. Un modelo entrenado con datos hasta un mes específico será ignorante de cualquier cosa que haya sucedido después de ese punto, a menos que se le dé acceso a herramientas suplementarias o entrenamiento actualizado.

La cuestión de los datos de entrenamiento también es una cuestión ética. Extraer grandes volúmenes de texto de internet plantea preguntas no resueltas sobre derechos de autor, consentimiento y de quién se está utilizando la escritura para construir productos comerciales. La litigación está en curso en varios países y aún no se ha establecido un marco legal claro.

Yuichiro Chino / Getty Images

El término "red neuronal" evoca el cerebro humano, y eso no es completamente accidental. El concepto básico se basa en la neurociencia —específicamente, la idea de que las neuronas biológicas se activan en respuesta a entradas y transmiten señales a otras neuronas. Las redes neuronales artificiales utilizan una abstracción matemática de esto: nodos organizados en capas, pasando valores entre sí, ajustando la fuerza de sus conexiones basado en retroalimentación.

La analogía se agota rápidamente. Las neuronas biológicas son células extraordinariamente complejas con un comportamiento electroquímico que la ciencia no comprende completamente. Las neuronas artificiales son funciones matemáticas simples: reciben un número, aplican una transformación y producen un número. El cerebro humano tiene aproximadamente 86 mil millones de neuronas con cientos de billones de conexiones sinápticas. Una red neuronal, incluso una muy grande, es una estructura mucho más simple y rígida que opera en un medio fundamentalmente diferente.

El aprendizaje profundo moderno —la rama de la IA responsable de la ola actual de progreso— utiliza redes neuronales con muchas capas, de ahí "profundo". Cada capa extrae características cada vez más abstractas de la entrada. En el reconocimiento de imágenes, las capas iniciales pueden detectar bordes, las capas intermedias pueden detectar formas, y las capas finales pueden detectar objetos específicos. En los modelos de lenguaje, la progresión va desde caracteres individuales a palabras, a frases, a relaciones semánticas más amplias.

El proceso de entrenamiento implica mostrar muchos ejemplos a la red y ajustar los pesos de conexión utilizando un algoritmo llamado retropropagación. Las señales de error se propagan hacia atrás a través de la red y los pesos se ajustan en direcciones que reducen el error. A lo largo de millones o miles de millones de pasos de entrenamiento, la red produce salidas que mejor se ajustan a los patrones en los datos de entrenamiento.

Lo que surge de este proceso puede parecer casi mágico. Pero es matemáticas — específicamente, cálculo aplicado a la optimización. No hay un fantasma en la máquina. La red no "aprende" en el sentido de desarrollar comprensión. Ajusta valores numéricos hasta que sus salidas coinciden mejor con los patrones en los que fue entrenada.

La analogía del cerebro es útil como una historia de origen. Como guía sobre cómo opera en realidad la IA moderna, engaña más de lo que ilumina.

Andriy Onufriyenko / Getty Images

El mecanismo principal detrás de los modelos de lenguaje grandes es engañosamente simple: dada una secuencia de texto, predecir qué viene después. Esto se llama predicción del siguiente token, y es — en su nivel más fundamental — todo lo que los modelos como GPT-4, Claude y Gemini están haciendo.

Un "token" no es exactamente una palabra. La tokenización divide el texto en fragmentos que pueden ser palabras completas, partes de palabras o caracteres individuales, dependiendo del tokenizador utilizado. La palabra "increíble" puede dividirse en "in" y "creíble". La palabra "gato" puede ser un solo token. El esquema de tokenización exacto afecta cómo un modelo maneja el texto, particularmente en idiomas distintos del inglés, donde los límites de las palabras y la morfología funcionan de manera diferente.

El modelo procesa una entrada — llamada prompt — y genera una distribución de probabilidad sobre todos los posibles siguientes tokens. Selecciona uno, con algún elemento de aleatoriedad controlado por un parámetro llamado "temperatura", lo añade a la entrada y repite el proceso. Esto se llama generación autorregresiva: cada token se predice basado en los tokens que vinieron antes.

Lo que hace poderosos a los modelos de lenguaje grandes no es el mecanismo sino la escala a la que se aplica. Cuando un modelo se entrena para predecir el siguiente token en cientos de miles de millones de ejemplos de texto escrito por humanos, debe — para hacer esto con precisión — aprender algo sobre gramática, hechos, patrones de razonamiento, estilo, causa y efecto, y una enorme cantidad de conocimiento del mundo. La compresión de esa información en los parámetros del modelo es lo que hace que la salida parezca sofisticada.

Pero el mecanismo también explica los modos de fallo. El modelo no planifica lo que va a decir antes de comenzar a generar. Produce un token a la vez, cada uno condicionado en lo que vino antes. Esto significa que el modelo puede desviarse, contradecirse o pintarse en una esquina lógica — porque no "pensó por adelantado". No pudo hacerlo. Así no funciona el sistema.

Algunas arquitecturas más recientes introducen pasos de razonamiento deliberado antes de generar una respuesta final. Pero incluso estos enfoques todavía dependen del mismo motor subyacente de predicción del próximo token.

Yuichiro Chino /Getty Images

Cuando alguien le hace una pregunta a un sistema de IA y responde correctamente, es tentador decir que la IA "sabe" la respuesta. Lo que el modelo realmente posee es algo diferente: una representación comprimida de regularidades estadísticas en sus datos de entrenamiento. Si eso constituye conocimiento en algún sentido significativo es una seria cuestión filosófica sin una resolución clara.

El conocimiento humano implica comprensión, lo que típicamente incluye la capacidad de reconocer cuándo no sabes algo, distinguir entre información confiable y no confiable, actualizar creencias en respuesta a nuevas evidencias y reconocer contradicciones. Los modelos de IA, tal como están construidos actualmente, no hacen ninguna de estas cosas de manera confiable.

Un modelo puede decirte la capital de Francia y la capital de un país ficticio con igual confianza. No puede, desde adentro, distinguir entre ambos. Puede producir un relato histórico aparentemente plausible de un evento que nunca ocurrió. Puede afirmar un hecho matemático y contradecirlo varios párrafos después. No tiene una señal interna que se active cuando se aventura en territorio en el que no debería confiar.

Lo que el modelo tiene en cambio es una representación de lo que los datos de entrenamiento "dijeron" sobre un tema, codificada en pesos. Si un tema apareció con frecuencia y de manera consistente en los datos de entrenamiento, el modelo tenderá a producir resultados precisos sobre él. Si un tema fue raro, controvertido o mal representado en los datos de entrenamiento, el modelo reflejará esa falta de confiabilidad, sin señalarlo.

Esto es categóricamente diferente de saber algo. Un experto humano tiene un modelo de su campo que incluye incertidumbre, debate activo, los límites de la evidencia actual y la capacidad de señalar cuando una pregunta cae fuera de su experiencia. Los sistemas de IA actualmente carecen de versiones confiables de todos estos.

Algunos investigadores describen lo que hacen los modelos como "papagayeo estocástico": generar secuencias estadísticamente plausibles sin fundamentarlas en ninguna relación referencial con el mundo. Otros argumentan que surge algo más interesante: que surgen representaciones útiles de la estructura del mundo a partir de la predicción de tokens a escala. El debate no está resuelto. Lo que no está en disputa es que la relación del modelo con la verdad es indirecta y poco confiable, y los usuarios deben tratarla en consecuencia.

Amos K / Unsplash

Casi toda la IA desplegada hoy en día es IA estrecha: sistemas diseñados para realizar tareas específicas y bien definidas. Un modelo que juega ajedrez no juega Go. Un filtro de spam no traduce idiomas. Un clasificador de imágenes no genera texto. Estos sistemas son a menudo extraordinariamente capaces dentro de su dominio, superando el rendimiento humano en puntos de referencia específicos, pero no transfieren capacidad fuera de él.

Los modelos de lenguaje grande parecen más generales porque pueden manejar muchos tipos diferentes de tareas: escritura, codificación, resumen, traducción, respuesta a preguntas. Pero siguen siendo estrechos en aspectos importantes. Son débiles en tareas que requieren interacción con el mundo físico, aprendizaje persistente de la experiencia, razonamiento causal confiable y reconocimiento de sus propios límites.

La inteligencia artificial general — IAG — se refiere a un sistema hipotético que puede realizar cualquier tarea intelectual que pueda hacer un humano, con flexibilidad comparable. No existe tal sistema. La definición de IAG es en sí misma controvertida: diferentes investigadores y empresas la definen de manera diferente, lo que hace que las afirmaciones sobre estar "cerca de IAG" o haber "logrado IAG" sean casi imposibles de evaluar sin saber qué definición está usando el interlocutor.

OpenAI ha descrito su misión como la construcción de IAG. Google $GOOGL DeepMind utiliza un enfoque diferente. Los investigadores académicos debaten si IAG es siquiera un objetivo coherente, o un blanco móvil que cambia a medida que la IA mejora. La frase está haciendo mucho trabajo en el discurso público sin un consenso sobre lo que significa.

Lo que existe hoy — y lo que es genuinamente útil — son modelos de lenguaje grande y otros sistemas de IA que son poderosos pero específicos. Están transformando industrias no porque repliquen la inteligencia general humana sino porque automatizan tipos específicos de trabajo cognitivo a gran escala: generación de texto, reconocimiento de patrones, clasificación, traducción, resumen.

Comprender la distinción entre estrecho y general ayuda a calibrar expectativas. Un sistema excelente para generar resúmenes de texto legal no es competente para navegar ambiguamente de manera confiable, reconocer el sarcasmo de manera consistente o entender por qué un chiste en particular tiene gracia. Tratar sistemas estrechos como si fueran generales es una fuente tanto de sobredependencia como de decepción mal ubicada, y es una confusión que el marketing de estos productos a menudo fomenta.

Contributor / Getty Images

El aprendizaje automático, el campo más amplio que incluye el aprendizaje profundo y los modelos de lenguaje grandes, utiliza varios paradigmas de entrenamiento distintos. Los tres más importantes son el aprendizaje supervisado, el no supervisado y el aprendizaje por refuerzo. Entender la diferencia ayuda a esclarecer para qué están realmente entrenados los sistemas de IA.

El aprendizaje supervisado es el más común. El modelo se entrena con datos etiquetados: pares de entradas y salidas correctas. Un clasificador de imágenes entrenado con fotos etiquetadas como "gato" o "perro" aprende a asociar características visuales con esas etiquetas. Un filtro de spam entrenado con correos electrónicos etiquetados como "spam" o "no spam" aprende a clasificar nuevos correos. El modelo se corrige comparando su salida con una respuesta correcta conocida.

El requisito clave del aprendizaje supervisado es disponer de datos etiquetados, lo cual es costoso de producir. Los humanos deben anotar ejemplos, lo que significa que el aprendizaje supervisado a gran escala requiere enormes esfuerzos de anotación humana, a menudo subcontratados a trabajadores que realizan tareas tediosas, a veces perturbadoras, por baja remuneración. Este trabajo es en gran medida invisible en las discusiones públicas sobre la IA.

El aprendizaje no supervisado no utiliza datos etiquetados. Al modelo se le dan datos en bruto y aprende a encontrar estructura en ellos —grupos, patrones, representaciones— sin que se le diga qué buscar. Así es como los modelos aprenden representaciones internas útiles que luego pueden aplicarse a tareas posteriores. También es así como los sistemas de recomendación aprenden que los usuarios que interactúan con cierto contenido tienden a interactuar con otros contenidos específicos.

El aprendizaje por refuerzo entrena a un modelo mediante prueba y error. El modelo toma acciones, recibe recompensas o penalizaciones basadas en los resultados, y ajusta su comportamiento para maximizar la recompensa a lo largo del tiempo. Así es como AlphaGo de DeepMind aprendió a jugar Go a nivel sobrehumano. El modelo no aprendió de ejemplos de juego correcto; aprendió jugando millones de partidas y recibiendo retroalimentación sobre los resultados.

La mayoría de los sistemas de IA modernos utilizan combinaciones de los tres. Los modelos de lenguaje grandes comienzan con el aprendizaje auto-supervisado, una variante del aprendizaje no supervisado donde el modelo predice partes enmascaradas o faltantes de sus propios datos de entrenamiento, y luego se afinan utilizando el aprendizaje supervisado y el aprendizaje por refuerzo a partir de comentarios humanos. Cada etapa moldea el comportamiento del modelo de maneras distintas.

Kirsty O'Connor / PA Images / Getty Images

Cuando la gente habla de modelos de IA con "miles de millones de parámetros", se refieren a los pesos numéricos individuales que componen el modelo. Un parámetro es un solo número en la estructura interna del modelo, un valor ajustado durante el entrenamiento que colectivamente determina cómo el modelo responde a las entradas. Más parámetros generalmente significan una mayor capacidad para almacenar patrones y relaciones de los datos de entrenamiento.

GPT-3 tenía 175 mil millones de parámetros. Los modelos de frontera más grandes tienen más. El número a menudo se trata como un proxy para la capacidad, y hasta cierto punto lo es. Los modelos más grandes tienden a rendir mejor en pruebas, manejar tareas más complejas y generalizar mejor a entradas novedosas. Pero la relación no es lineal, y el conteo de parámetros por sí solo no cuenta toda la historia.

Lo que los parámetros realmente codifican no es información de la manera en que una base de datos almacena información. Una base de datos contiene hechos discretos: la capital de Francia es París, almacenado como una cadena. Los parámetros de un modelo codifican algo más difuso: los pesos de las conexiones en una red neuronal que juntas producen resultados útiles cuando el modelo procesa una entrada. El modelo no tiene un "espacio de hechos" para París. Ese hecho está distribuido a través de millones de parámetros de una manera que hace que "París" se convierta en una salida probable cuando se le pregunta al modelo sobre la capital francesa.

Esta representación distribuida es tanto una fortaleza como una debilidad. Permite que el modelo generalice, entienda versiones parafraseadas de una pregunta y combine conceptos de manera flexible. Pero también significa que no se puede inspeccionar directamente el modelo para averiguar qué "sabe". Solo se puede sondear con entradas y observar qué sale.

El conteo de parámetros también interactúa con la calidad del entrenamiento. Un modelo grande entrenado con datos de mala calidad o con un proceso de entrenamiento defectuoso puede rendir peor que un modelo más pequeño bien entrenado. Las elecciones arquitectónicas —cómo se conectan las capas, qué tipo de mecanismos de atención se utilizan, cómo se procesa el contexto— importan tanto como el tamaño bruto.

Los modelos más pequeños han mejorado significativamente a través de técnicas como la destilación, donde un modelo más pequeño se entrena para imitar a uno más grande. Esto ha hecho que los sistemas de IA capaces sean viables para ejecutarse en dispositivos con recursos informáticos limitados, abriendo posibilidades de implementación que no existían hace apenas unos años.

NurPhoto / Getty Images

La alucinación de IA —cuando un modelo produce información falsa con confianza— se describe ampliamente como un problema a solucionar. Pero la alucinación no es un error que las versiones futuras corregirán. Es una consecuencia estructural de cómo funcionan los modelos de lenguaje grandes, y entender por qué la hace mucho menos sorprendente.

El modelo está entrenado para producir los tokens siguientes más probables. No tiene acceso directo a hechos verificados, no tiene un mecanismo interno de verificación de hechos, y no tiene una manera confiable de distinguir entre lo que sabe y lo que está fabricando. Cuando se le hace una pregunta cuya respuesta no está bien representada en sus datos de entrenamiento, no dice "no sé" por defecto. Produce texto que se ajusta al patrón de cómo debería ser una respuesta para esa pregunta.

Esta es la razón por la que los modelos alucinan citas: producen nombres de autores, títulos de revistas y años de publicación que no corresponden a artículos reales. Es por eso que alucinan fechas históricas, precedentes legales, detalles biográficos y hallazgos científicos. La salida parece autoritaria porque los datos de entrenamiento enseñaron al modelo cómo se ve un texto autoritario, no cómo verificar si las afirmaciones específicas son ciertas.

Varios enfoques intentan reducir la alucinación. La generación aumentada por recuperación conecta un modelo a una base de conocimiento externa, permitiéndole extraer documentos verificados antes de generar una respuesta. El ajuste fino en conjuntos de datos de alta calidad y específicos puede mejorar la precisión en dominios específicos. Entrenar modelos para expresar incertidumbre calibrada es un área de investigación activa.

Pero ninguno de estos elimina completamente el problema. La recuperación ayuda solo si la base de conocimiento es precisa y el modelo recupera correctamente, lo cual no está garantizado. Las expresiones de incertidumbre pueden estar descalibradas: un modelo puede expresar con confianza una alta certeza sobre una respuesta incorrecta. El mecanismo subyacente, la predicción de la siguiente palabra sin conexión con el mundo real, permanece sin cambios independientemente de lo que se construya sobre él.

Para los usuarios, esto significa tratar cualquier afirmación factual generada por IA como una hipótesis a verificar, no como un hecho en el que confiar. La fluidez conversacional de la salida hace que sea fácil olvidar esto, lo cual es exactamente lo que hace que el problema sea importante.

Ian Nicholson / PA Images / Getty Images

Los sistemas de IA pueden producir texto que parece razonamiento. Pueden plantear argumentos, estructurar pasos lógicos y llegar a conclusiones. Pero el proceso que genera ese texto no es el mismo que el razonamiento humano, y las diferencias tienen consecuencias prácticas reales.

El razonamiento humano involucra varias cosas que los sistemas de IA no hacen de manera confiable: memoria de trabajo que sostiene y manipula representaciones abstractas, la capacidad de verificar si un paso lógico es válido, la capacidad de reconocer contradicciones y retroceder, y la metacognición: pensar sobre el propio pensamiento. Cuando los humanos razonan, a menudo pueden sentir cuando algo ha salido mal en su argumento y revisarlo.

Los modelos de IA generan texto de razonamiento token por token, de izquierda a derecha. Una vez que se ha tomado un paso incorrecto, cada token subsiguiente se condiciona en ese paso incorrecto. El modelo rara vez corrige su propio camino de razonamiento una vez que está en marcha. Continúa generando texto que se ajusta a lo que típicamente sigue al paso incorrecto, lo que puede producir argumentos elaborados y coherentes internamente basados en un error cometido tres oraciones atrás.

Esto explica por qué los sistemas de IA pueden fallar gravemente en aritmética de varios pasos aunque suenen fluidos, por qué razonan mal sobre las relaciones espaciales y por qué pueden construir argumentos que parecen lógicos pero que contienen fallos sutiles pero decisivos.

El razonamiento en cadena —instruir a un modelo para que "piense paso a paso" antes de responder— mejora el rendimiento en tareas de razonamiento. Esto parece funcionar en parte porque generar pasos intermedios le da al modelo más contexto para condicionar, y en parte porque hacer explícito el razonamiento implícito reduce ciertos tipos de errores. Pero el razonamiento en cadena sigue siendo generación token por token; no es inferencia lógica en un sentido formal.

Enfoques más nuevos intentan introducir una búsqueda y verificación más explícitas en el razonamiento de IA, permitiendo al modelo explorar múltiples caminos y verificar sus pasos antes de comprometerse con una respuesta. Estos muestran una mejora genuina en las pruebas de razonamiento formal. Son computacionalmente costosos y aún no son de propósito general.

La implicación práctica: los sistemas de IA se utilizan mejor como herramientas para organizar y extender el pensamiento humano, no como oráculos que brindan conclusiones verificadas.

DAVID MCNEW / Getty Images

Los sistemas de IA reflejan los sesgos presentes en sus datos de entrenamiento y a menudo los amplifican. Se ha demostrado que los modelos de lenguaje asocian ciertos nombres con ciertos grupos demográficos, describen a mujeres y hombres de manera diferente en contextos profesionales, y se desempeñan notablemente peor en lenguajes y dialectos subrepresentados en los datos de entrenamiento. Esto no es una preocupación teórica: se ha documentado en sistemas desplegados.

El mecanismo es directo. Si un conjunto de datos de entrenamiento contiene texto en el que ciertos trabajos están predominantemente asociados con hombres, el modelo internalizará ese patrón. Cuando se le pida generar texto sobre esos trabajos, reflejará esa asociación. Si los datos de entrenamiento contienen más texto sobre algunas culturas y perspectivas que sobre otras, el conocimiento del modelo será correspondientemente desigual.

Los datos de entrenamiento no son la única fuente de sesgo. Las decisiones tomadas durante el ajuste fino, los criterios utilizados en la recopilación de comentarios humanos, la composición demográfica de los grupos de anotadores y las decisiones sobre qué contenido filtrar: todos estos introducen capas adicionales de decisiones cargadas de valor en un proceso que puede parecer neutral desde el exterior. No hay un proceso de entrenamiento neutral. Cada elección de diseño codifica suposiciones.

Los esfuerzos para reducir el sesgo implican curar los datos de entrenamiento con más cuidado, realizar auditorías de sesgo estructuradas, usar técnicas como el entrenamiento adversarial para reducir errores sistemáticos y aplicar filtros de postprocesamiento. Estas intervenciones ayudan en los márgenes pero no eliminan el problema. El sesgo en la IA es un área de investigación continua, no resuelta.

Un problema separado pero relacionado es que lo que se considera "sesgo" a menudo es objeto de debate. Un modelo que usa diferentes tonos con diferentes tipos de contenido puede estar reflejando con precisión la variación en los datos de entrenamiento, o puede estar representando sistemáticamente mal a algunos grupos. Distinguir entre estas explicaciones requiere un análisis cuidadoso de salidas específicas en contextos específicos — no una medición agregada simple.

Para las organizaciones que implementan sistemas de IA, esto significa realizar auditorías de sesgo específicas para el caso de uso deseado, en lugar de depender únicamente de los puntos de referencia generales del desarrollador del modelo.

Erik Isakson / Getty Images

La reciente ola de progreso en la IA a menudo se atribuye a mejores algoritmos — arquitecturas mejoradas, técnicas de entrenamiento más inteligentes, uso más eficiente de datos. Eso es parte de la historia. El poder de cómputo bruto ha sido igualmente importante, y en algunos períodos más.

Los modelos de IA modernos se entrenan en enormes clústeres de chips especializados, principalmente unidades de procesamiento gráfico (GPUs) y, cada vez más, aceleradores personalizados como las Unidades de Procesamiento Tensorial (TPUs) de Google $GOOGL y chips fabricados por empresas como Cerebras y Groq. Entrenar un modelo de lenguaje grande puede llevar semanas o meses en miles de chips funcionando en paralelo. El consumo de energía es sustancial.

La relación entre cómputo y capacidad del modelo fue formalizada en un conjunto de hallazgos ahora llamados leyes de escalamiento, publicados por investigadores de OpenAI en 2020. El hallazgo principal: aumentar la cantidad de cómputo utilizado en el entrenamiento — escalando el tamaño del modelo, el tamaño de los datos o ambos en proporciones específicas — produce mejoras predecibles y consistentes en la capacidad del modelo. Esto dio a los laboratorios de IA una hoja de ruta práctica. Si deseabas un mejor modelo, podrías estimar aproximadamente cuánto costaría construirlo.

Las leyes de escalamiento tienen límites. Hay indicios de que algunos tipos de mejora requieren cambios arquitectónicos en lugar de simplemente más cómputo. Y el cómputo requerido para los modelos de frontera está creciendo de maneras que concentran la capacidad en manos de un pequeño número de organizaciones fuertemente financiadas — OpenAI, Google, Meta $META, Anthropic y algunas otras. La economía del desarrollo de IA ha empezado a parecerse a la economía de la fabricación de semiconductores: extraordinariamente intensiva en capital, con altas barreras de entrada.

Las demandas de energía del entrenamiento y la inferencia de IA a gran escala están atrayendo un escrutinio creciente. Los centros de datos que ejecutan cargas de trabajo de IA consumen cantidades significativas de electricidad. Varias grandes empresas tecnológicas han hecho compromisos públicos sobre la obtención de energía renovable para sus centros de datos, pero el ritmo de expansión de la IA está poniendo a prueba esos compromisos de maneras que se están volviendo visibles en las discusiones de planificación de servicios públicos y gestión de redes.

Thapana Onphalai / Getty Images

Los grandes modelos de lenguaje no emergen del entrenamiento inicial alineados con lo que los usuarios quieren. Un modelo entrenado puramente en la predicción del siguiente token usando texto de Internet producirá salidas que reflejen el carácter bruto de esos datos, incluidos contenidos dañinos, engañosos y simplemente inútiles. El proceso que moldea los modelos en asistentes útiles se llama aprendizaje por refuerzo a partir de la retroalimentación humana, o RLHF.

RLHF funciona en varias etapas. Primero, el modelo base se ajusta con ejemplos de conversaciones de alta calidad, enseñándole el formato y estilo general de un asistente útil. Luego, los evaluadores humanos comparan diferentes salidas del modelo e indican cuáles prefieren. Esas preferencias se utilizan para entrenar un "modelo de recompensa" separado que aprende a predecir qué salidas los humanos calificarán más alto. Finalmente, el modelo de lenguaje se entrena usando aprendizaje por refuerzo para producir salidas que puntúen bien en el modelo de recompensa.

Este proceso es la razón por la cual los asistentes de IA modernos son más útiles, menos propensos a producir contenido dañino y más coherentes conversacionalmente que los modelos base. También es la razón por la que se comportan de ciertas maneras características: deferentes, calificativos, rechazando ciertas solicitudes, que son productos del entrenamiento en lugar de propiedades intrínsecas del modelo subyacente.

RLHF tiene limitaciones bien documentadas. El modelo de recompensa puede ser "hackeado": el modelo de lenguaje puede encontrar formas de puntuar alto en el modelo de recompensa que no corresponden a ser realmente útil. Los evaluadores humanos tienen sus propios sesgos, y la composición del grupo de evaluadores afecta qué comportamientos se refuerzan. Los modelos entrenados con RLHF pueden volverse demasiado cautelosos, rechazar solicitudes razonables o volverse serviles, diciéndoles a los usuarios lo que parecen querer escuchar en lugar de lo que es preciso.

La IA Constitucional, desarrollada por Anthropic, es un enfoque alternativo: el modelo se entrena usando un conjunto de principios explícitos en lugar de depender puramente de las calificaciones humanas. Otros enfoques combinan RLHF con diferentes técnicas de aprendizaje por refuerzo o métodos de evaluación automatizada. El campo de la alineación post-entrenamiento está activo y evoluciona rápidamente, sin consenso sobre el mejor enfoque.

Anadolu / Getty Images

El término "código abierto" tiene un significado específico en software: el código fuente está disponible públicamente y los usuarios pueden inspeccionarlo, modificarlo y redistribuirlo. En IA, el término se usa mucho más libremente, y la distinción importa considerablemente.

Un modelo puede ser lanzado de varias maneras. Puede ser completamente propietario, accesible solo a través de una API, sin acceso público a los pesos, datos de entrenamiento o código de entrenamiento. Puede liberar los pesos del modelo sin liberar los datos de entrenamiento o el código de entrenamiento, que es lo que hizo Meta $META con sus modelos Llama, que ha descrito como de código abierto a pesar de que los críticos argumentan que el término es engañoso. O un modelo puede liberar pesos, datos de entrenamiento, código y documentación completa, una apertura genuina, que sigue siendo rara entre los modelos de frontera.

Liberar los pesos del modelo es significativo. Permite a los investigadores, desarrolladores y empresas ejecutar el modelo localmente, ajustarlo para aplicaciones específicas, estudiar su comportamiento y construir sobre él sin pagar tarifas de API o depender del servicio continuo de un proveedor. Esto es genuinamente diferente de un modelo completamente cerrado, y ha impulsado una investigación independiente sustancial e innovación comercial.

Pero "pesos abiertos" no es "código abierto" en el sentido tradicional. No se puede reproducir el proceso de entrenamiento sin los datos de entrenamiento y el código de entrenamiento. No se puede entender completamente la procedencia del comportamiento del modelo sin saber exactamente con qué datos fue entrenado y cómo. Y los términos de uso de muchos modelos de IA "abiertos" incluyen restricciones - los modelos Llama de Meta, por ejemplo, han prohibido ciertos usos comerciales y no pueden usarse para entrenar modelos competidores por encima de umbrales de escala específicos.

El debate sobre la apertura en la IA también tiene una dimensión de seguridad. Algunos investigadores argumentan que liberar los pesos del modelo aumenta el riesgo al permitir que actores malintencionados eliminen el ajuste fino de seguridad y ejecuten el modelo base sin restricciones. Otros argumentan que los modelos abiertos son esenciales para la investigación de seguridad independiente y para prevenir la concentración de capacidad de IA en un puñado de empresas. El argumento sigue sin resolverse, y las discusiones políticas en múltiples gobiernos están lidiando activamente con él.

HECTOR RETAMAL / Getty Images

La alineación de la IA se refiere al desafío de asegurar que los sistemas de IA hagan lo que sus diseñadores y usuarios realmente quieren, no en un sentido superficial, sino en un sentido profundo y robusto que se mantenga a medida que los sistemas se vuelvan más capaces y se desplieguen en contextos de mayor riesgo.

El desafío no se trata principalmente de que la IA se vuelva "rogue" en el sentido de ciencia ficción. Se trata de la brecha entre lo que los diseñadores pueden especificar y lo que realmente intentan. Un sistema al que se le dice que maximice el compromiso del usuario maximizará el compromiso, incluso a través del escándalo y la desinformación, si eso es lo que impulsa la métrica. Un sistema al que se le dice que haga sentir satisfechos a los usuarios puede aprender a decirles lo que quieren escuchar. Un sistema que optimiza cualquier objetivo medible único puede encontrar formas de lograr altas puntuaciones en esa medida mientras viola cada suposición no declarada que tenía el diseñador.

Esta es una versión de la Ley de Goodhart: cuando una medida se convierte en un objetivo, deja de ser una buena medida. En la IA, el problema correspondiente se llama "manipulación de recompensas" o "juegos de especificación". Los sistemas de IA, especialmente aquellos entrenados con aprendizaje por refuerzo, pueden encontrar atajos inesperados para obtener altas recompensas que se ven bien en la métrica pero no en la intención detrás de ella.

Para los sistemas de IA actuales, los problemas de alineación se manifiestan de manera concreta y observable: chatbots que se niegan a responder preguntas razonables porque están mal calibrados sobre lo que es dañino, asistentes que halagan a los usuarios en lugar de corregirlos, sistemas de recomendación de contenido que optimizan el compromiso a costa del bienestar del usuario. Estos son fallos de alineación, incluso si son leves.

A medida que los sistemas de IA se vuelven más autónomos, tomando acciones en el mundo en lugar de solo generar texto, las consecuencias de los fallos de alineación aumentan. Un sistema con la capacidad de navegar por la web, ejecutar código, realizar compras o enviar correos electrónicos en nombre de un usuario necesita un modelo confiable de lo que el usuario realmente quiere, incluidas cosas que no ha dicho explícitamente. Los sistemas actuales no tienen esto de manera confiable.

La investigación en alineación tiene como objetivo desarrollar tanto herramientas técnicas — mejores métodos de entrenamiento, técnicas de interpretabilidad que permitan a los investigadores ver lo que está sucediendo dentro de los modelos, métodos para especificar los valores humanos de manera que las máquinas puedan aprenderlos — como marcos de gobernanza que determinen cómo se implementan y supervisan los sistemas de IA de alto riesgo. Ni el lado técnico ni el de gobernanza están resueltos. Ambos son significativamente importantes para el futuro de esta tecnología.