El TPU 8t está destinado al entrenamiento de modelos, mientras que el TPU 8i maneja cargas de trabajo de inferencia, una división con respecto a generaciones anteriores que manejaban ambas tareas.
NurPhoto / Getty Images
Google $GOOGL presentó dos nuevos chips de IA en su conferencia Cloud Next esta semana, separando el entrenamiento y la inferencia en procesadores distintos por primera vez en la octava generación de unidades de procesamiento tensorial de la compañía.
El TPU 8t está diseñado para entrenar modelos de IA, mientras que el TPU 8i está diseñado para la inferencia y el manejo de cargas de trabajo de agentes de IA. Ambos chips estarán disponibles a finales de este año, dijo Google.
Hasta ahora, un solo chip manejaba tanto el entrenamiento como la inferencia en todas las generaciones de TPU. El hardware especializado para cada carga de trabajo se convirtió en una prioridad a medida que las implementaciones de agentes de IA crecieron y los requisitos de rendimiento para el entrenamiento y la inferencia continuaron divergiendo, dijo Google.
Google diseñó los chips en asociación con Google DeepMind. El CEO Sundar Pichai dijo que la arquitectura está diseñada "para ofrecer el rendimiento masivo y la baja latencia necesarios para ejecutar concurrentemente millones de agentes de manera rentable."
La base de clientes para los TPU de Google ha estado creciendo. Entre los usuarios que Google mencionó están Citadel Securities, que depende de los TPU para la investigación cuantitativa, y los 17 laboratorios nacionales en el sistema del Departamento de Energía de EE. UU., que ejecutan software de IA en los chips. Anthropic se ha comprometido a aprovechar múltiples gigavatios de capacidad de TPU de Google, y Yahoo Finanzas informa que Google también está en conversaciones para suministrar capacidad de TPU a OpenAI. En febrero, también se alcanzó un acuerdo plurianual y multimillonario que otorga a Meta $META acceso a los TPUs de Google, CNBC informó, citando a The Information.
Desde 2018, cuando Google primero puso los TPUs a disposición de clientes externos de la nube, los chips han servido como una opción interna para empresas que buscan alternativas a la adquisición de hardware de Nvidia $NVDA. La empresa no compara el rendimiento de los nuevos chips directamente con los procesadores de Nvidia.
En comparación con la séptima generación Ironwood, el TPU 8t ofrece 2.8 veces el rendimiento a un costo equivalente, dijo Google. A escala de superpod, el chip admite configuraciones de hasta 9,600 unidades con dos petabytes de memoria compartida de alto ancho de banda, apuntando a más del 97% de tiempo de cálculo útil. Según Google, eso se traduce en reducir el tiempo necesario para desarrollar modelos de frontera de meses a semanas.
La SRAM en chip en el TPU 8i llega a 384 megabytes, lo que es tres veces lo que proporcionaba Ironwood, y el chip también incluye 288 gigabytes de memoria de alto ancho de banda, con el diseño general orientado hacia la inferencia de baja latencia. Para cargas de trabajo de inferencia, la mejora de rendimiento por dólar sobre la generación anterior alcanza el 80%, un aumento que, según Google, permite a los clientes manejar aproximadamente el doble del volumen de solicitudes sin aumentar el gasto.
Ambos chips funcionan con CPUs Axion basadas en ARM de Google y son compatibles con marcos como JAX, PyTorch, SGLang y vLLM. Pueden usarse como parte del sistema AI Hypercomputer de Google, que combina hardware, software y redes en una pila unificada.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
