Aunque los chips de Nvidia seguirán dominando el entrenamiento de IA, más nuevos chips para inferencia podrían ahorrar a las empresas decenas de miles de millones de dólares.
Nvidia CEO Jensen Huang (I-Hwa Cheng/Bloomberg via Getty Images)
Una versión de este artículo apareció originalmente en el boletín exclusivo para miembros de Quartz, Weekend Brief. Los miembros de Quartz obtienen acceso a boletines exclusivos y más. Inscribirse aquí.
Sam Altman se ha estado quejando durante meses sobre la escasez de chips de Nvidia $NVDA que ralentizan los lanzamientos de ChatGPT. La nueva asociación de 10 mil millones de dólares de OpenAI con Broadcom $AVGO para chips personalizados muestra que la compañía finalmente está haciendo algo al respecto.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
La asociación, revelada a principios de este mes después de la llamada de ganancias de Broadcom, subraya una realidad creciente: las empresas están desesperadas por escapar de lo que la industria llama el "impuesto Nvidia", los aproximadamente márgenes brutos del 60% en procesadores que se han vuelto esenciales para el desarrollo de la IA.
Altman ha sido vocal sobre las escaseces de GPU que retrasan los lanzamientos de ChatGPT, escribiendo en X $TWTR que la empresa estaba "sin GPUs" y necesitaba añadir "decenas de miles" más para lanzar nuevas características. Pero OpenAI no está solo en su frustración. En Silicon Valley y más allá, se está gestando una revolución en el desarrollo de nuevos chips para liberarse del dominio de Nvidia. Esto es especialmente cierto para la inferencia, que es cuando los sistemas de IA realmente responden preguntas o crean contenido para los usuarios.
Mientras que los chips de Nvidia seguirán dominando el entrenamiento de IA, más nuevos chips de inferencia podrían ahorrar a las empresas decenas de miles de millones de dólares y reducir significativamente el consumo de energía. Las matemáticas son convincentes: la inferencia ocurre cada vez que alguien le hace una pregunta a ChatGPT o genera una imagen, haciéndola mucho más frecuente que el proceso de entrenamiento único.
El chip de Broadcom no está diseñado para desafiar a Nvidia directamente, según el Wall Street Journal, sino más bien para "llenar los vacíos" en las necesidades de hardware de OpenAI. Este enfoque híbrido refleja la estrategia más amplia de la industria: no necesariamente reemplazar a Nvidia por completo, sino reducir la dependencia a través de alternativas especializadas.
Compañías como Positron afirman que sus chips pueden ofrecer rendimiento dos a tres veces mejor por dólar y de tres a seis veces mejor eficiencia energética que los sistemas de próxima generación de Nvidia. Groq, fundada por el ex jefe de desarrollo de chips de IA de Google $GOOGL, afirma que sus chips especializados pueden hacer que ChatGPT funcione más de 13 veces más rápido.
Los grandes proveedores de la nube no están esperando a que las startups resuelvan su dependencia de Nvidia. Google, Amazon $AMZN, y Microsoft $MSFT están desarrollando chips enfocados en la inferencia para sus herramientas internas de IA y servicios en la nube. Estos esfuerzos, bien financiados y de varios años, representan un desafío directo al dominio de Nvidia en el mercado de inferencia.
Incluso Qualcomm $QCOM está regresando a los productos de centro de datos después de abandonar el mercado de servidores en 2018. El CEO Cristiano Amon recientemente insinuó planes enfocados en "grupos de inferencia que se trata de alto rendimiento a muy bajo consumo de energía."
Pero algunos están uniendo fuerzas en lugar de luchar. Intel $INTC anunció esta semana que construirá personalizados chips que se integran con los sistemas de Nvidia, con Nvidia tomando una participación de $5 mil millones en Intel como parte del acuerdo.
En China, donde las restricciones de exportación de EE. UU. limitan el acceso a chips avanzados de IA, Alibaba y Baidu han comenzado a usar chips diseñados internamente para entrenar modelos de IA, reemplazando parcialmente los procesadores de Nvidia. Se informa que el chip de IA de Alibaba ahora es competitivo con el H20 de Nvidia, el procesador más potente que la compañía puede vender en China.
Las ambiciones de semiconductores de India agregan otra dimensión a la competencia global, con 10 proyectos, $18 mil millones en compromisos de inversión y más de $7 mil millones en subsidios asignados. La diáspora india podría ser crucial, ya que los ejecutivos señalan que un tercio de los ingenieros y líderes senior de Nvidia son indios, lo que podría aliviar las preocupaciones de los clientes globales sobre trabajar con nuevos fabricantes de chips indios.
"Cuando las fichas están bajas, cuenta con India," El Primer Ministro de India, Narendra Modi, dijo en una conferencia de semiconductores este mes.
Nvidia no está quieta. La compañía afirma que sus últimos sistemas Blackwell ofrecen 25 veces mejor inferencia eficiencia por vatio en comparación con generaciones anteriores. Pero la velocidad no lo es todo. Los chips de Nvidia pueden manejar cualquier nuevo modelo de IA que venga, mientras que los chips de inferencia especializados están construidos para los modelos de hoy en día. En una industria de rápido movimiento donde las arquitecturas de IA cambian constantemente, esos chips especializados podrían quedar obsoletos de la noche a la mañana.
Tampoco se trata solo de los chips. Cuda, el software que ejecuta los procesadores de Nvidia, es lo que la mayoría de los desarrolladores de IA saben usar. Aprender un nuevo sistema significa capacitar a los equipos en herramientas desconocidas, creando otra barrera para los posibles cambiantes.
El historial actual para los desafiantes también es insuficiente. Google ha estado desarrollando TPUs durante casi una década, mientras que Microsoft y Amazon han invertido miles de millones en sus propios chips durante varios años sin mucho que mostrar todavía. Las investigaciones muestran que aproximadamente el 90% de los documentos de IA todavía citan el hardware de Nvidia, un dominio que apenas ha cambiado a pesar de años de competencia bien financiada.
Aún así, aunque los analistas predicen que Nvidia será el proveedor para el 100% del mercado de entrenamiento, solo capturará el 50% del mercado de inferencia. a largo plazo. Eso todavía deja casi $200 mil millones en gastos anuales en chips en juego para 2028, suficiente para motivar a las empresas a seguir intentando capturar una porción del pastel de chips.
La batalla de la computación de inferencia representa más que solo competencia técnica. Se trata de remodelar la estructura económica de la IA, reducir la dependencia de un solo proveedor y hacer que las capacidades avanzadas de IA sean accesibles a una gama más amplia de empresas y países. Como demuestra la asociación de Sam Altman con Broadcom, incluso las empresas de IA más exitosas apuestan a que las soluciones personalizadas demostrarán ser superiores al dominio fuera de lo común.
