Google planea anunciar nuevas generaciones de TPU en Google Cloud Next, con chips enfocados en inferencias en asociación con Marvell Technology próximamente.
Kevin Carter / Getty Images
Google $GOOGL está desarrollando nuevos chips dedicados a la inferencia de IA en asociación con Marvell Technology, posicionando a Alphabet para competir más directamente con Nvidia $NVDA en una categoría de semiconductores impulsada por la creciente demanda de software de IA, según Bloomberg.
Después de que un modelo se entrena, la inferencia es la etapa donde realmente hace su trabajo: responder consultas y producir resultados. Google planea anunciar una nueva generación de sus unidades de procesamiento tensorial, conocidas como TPUs, en la conferencia Google Cloud Next en Las Vegas esta semana, con chips enfocados en la inferencia que se espera sigan.
"El campo de batalla se está desplazando hacia la inferencia", dijo a Bloomberg el analista de Gartner Chirag Dekate. El científico jefe de Google, Jeff Dean, dijo en una entrevista que a medida que crece la demanda de IA, "ahora se vuelve sensato especializar más los chips para entrenamiento o más para cargas de trabajo de inferencia."
Amin Vahdat, quien supervisa la infraestructura de IA y el trabajo de chips de Google, se negó a comentar sobre planes específicos de chips de inferencia pero dijo que probablemente se compartirían más detalles "en un futuro relativamente cercano."
Según Partha Ranganathan, vicepresidente y miembro de ingeniería de la empresa, Google consideró la idea de chips de entrenamiento e inferencia distintos en sus primeros días antes de finalmente decidir lo contrario. Ese enfoque puede estar cambiando a medida que el ciclo de gasto en IA más amplio se desplaza del entrenamiento hacia las cargas de trabajo de inferencia.
Al ingresar al mercado de inferencia, Google puede aprovechar las ventajas construidas a lo largo de años de desarrollo interno de chips, ingresos sustanciales de su negocio de búsqueda y una relación inusualmente cercana con los modelos de IA que su hardware está destinado a ejecutar. Ningún otro desarrollador líder de IA fabrica sus propios chips a un volumen comparable, una ventaja estructural que estrecha el lazo entre las personas que construyen los modelos de Google y aquellos que diseñan el silicio en el que funcionan.
La demanda de las TPUs de Google ha crecido sustancialmente. Meta $META firmó un acuerdo multimillonario para adquirir TPUs a través de Google Cloud, y Santosh Janardhan, que lidera las operaciones de infraestructura de Meta, dijo que los resultados iniciales apuntan a posibles mejoras de rendimiento en tareas de inferencia. Anthropic, que amplió su acceso a las TPUs a hasta 1 millón de chips, también firmó un acuerdo separado con Broadcom $AVGO —el socio fabricante de TPUs de Google— para chips que permitirán aproximadamente 3,5 gigavatios de potencia de computación a partir de 2027.
Una persona familiarizada con el asunto le dijo a Bloomberg que Google ha estado probando un arreglo bajo el cual los clientes empresariales, entre ellos Anthropic, podrían desplegar hardware TPU en sus propias instalaciones en lugar de depender únicamente de la infraestructura en la nube de Google. La compañía también ha abierto el acceso a las TPUs a herramientas externas como PyTorch, alejándose de un entorno de software puramente propietario.
Nvidia sigue siendo el líder en chips de IA, especialmente para el entrenamiento. El CEO de Nvidia, Jensen Huang, dijo en la conferencia GTC de la compañía a principios de este año que sus chips pueden manejar aplicaciones "que no puedes hacer con TPUs." Google utiliza tanto TPUs como GPUs de Nvidia para sus propios proyectos de IA.
Las limitaciones de suministro pueden complicar las ambiciones de Google. Un ejecutivo de una startup, que no quiso ser identificado, describió la escasez de chips como un verdadero obstáculo y le dijo a Bloomberg que la compañía tenía poco acceso a las TPUs. Hassabis, por su parte, confirmó que el suministro disponible está siendo dirigido hacia las principales organizaciones de IA, a las que describió como "los equipos más élite."
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
