Hay una CPU. Hay una GPU. Tan solo durante el último año, todas las empresas tecnológicas han estado hablando de “NPU”. Si no conocías los dos primeros, probablemente estés desconcertado sobre el tercero y por qué todas las grandes empresas tecnológicas están ensalzando los beneficios de una “unidad de procesamiento neuronal”. Como habrás adivinado, todo se debe al actual ciclo de exageración en torno a la IA. Y, sin embargo, la tecnología Las empresas han sido bastante malas a la hora de explicar qué hacen estas NPU o por qué deberían importarle.
Todo el mundo quiere un trozo del pastel de IA. Google dijo “IA” más de 120 veces durante este mes Conferencia de desarrolladores de E/S, donde las posibilidades de nuevas aplicaciones y asistentes de IA prácticamente cautivaron a sus anfitriones. Durante su reciente Construir conferencia, Microsoft se centró en sus nuevas PC Copilot+ basadas en ARM que utilizan Qualcomm Snapdragon X Elite y X Plus. Cualquiera de las CPU seguirá ofreciendo una NPU con 45 TOPS. ¿Qué significa eso? Bueno, las nuevas PC deberían poder admitir IA en el dispositivo. Sin embargo, cuando Si lo piensas, eso es exactamente lo que Microsoft e Intel prometieron a finales del año pasado con el llamado “PC con IA.”
Si compraste una computadora portátil nueva con un chip Intel Core Ultra este año con la promesa de IA en el dispositivo, probablemente no seas ninguno demasiado feliz por quedarse atrás. Microsoft le ha dicho a Gizmodo que sólo las PC Copilot+ tendrán acceso Funciones basadas en IA como Recall “debido a los chips que los ejecutan”.
Leer más: La IA tiene muchos términos. Tenemos un glosario de lo que necesita saber
Sin embargo, hubo cierta controversia cuando un conocido filtrador Albacora afirmaron que podían ejecutar Recall en otra PC basada en ARM64 sin depender de la NPU. Las nuevas computadoras portátiles aún no están disponibles, pero Tendremos que esperar y ver cuánta presión ejercen las nuevas funciones de IA sobre los procesadores neuronales.
Pero si realmente tienes curiosidad sobre lo que está pasando con las NPU y por qué todos, desde Apple hasta Intel y las pequeñas empresas emergentes de PC, están hablando sobre ellos, hemos preparado una explicación para ponerte al día.
Explicando la NPU y ‘TOPS’
Entonces, primero, deberíamos ofrecer a las personas en segundo plano un resumen rápido de las capacidades informáticas de su PC habitual. La CPU, o “central”. unidad de procesamiento de gráficos” es, esencialmente, el “cerebro” de la computadora que procesa la mayoría de las tareas del usuario. La GPU, o “unidad de procesamiento de gráficos”, está más especializado para manejar tareas que requieren grandes cantidades de datos, como renderizar un objeto 3D o jugar un videojuego. Las GPU pueden pueden ser una unidad discreta dentro de la PC o pueden venir empaquetadas en la propia CPU.
De esa manera, la NPU está más cerca de la GPU en términos de su naturaleza especializada, pero no encontrará un sistema neuronal separado. procesador fuera de la unidad central o de procesamiento gráfico , al menos por ahora. Es un tipo de procesador diseñado para manejar los cálculos matemáticos específicos a algoritmos de aprendizaje automático. Estas tareas se procesan “en paralelo”, lo que significa que dividirá las solicitudes en tareas más pequeñas y luego las procesará. simultáneamente. Está específicamente diseñado para manejar las intensas demandas de las redes neuronales sin aprovechar ninguno de los procesadores de los otros sistemas.
El estándar para juzgar la velocidad de la NPU está en TOPS, o “billones de operaciones por segundo”. Actualmente, es la única forma en que las grandes empresas tecnológicas están comparando su capacidad de procesamiento neuronal entre sí. También es una forma increíblemente reductiva de comparar velocidades de procesamiento. Las CPU y las GPU ofrecen muchas diferentes puntos de comparación, desde los números y tipos de núcleos hasta velocidades de reloj generales o teraflops, e incluso eso no raya el superficie de las complicaciones implicadas con la arquitectura de chip. Qualcomm explica ese TOPS es sólo una rápida y sucia ecuación matemática que combina la velocidad y precisión de los procesadores neurales.
Quizás algún día veamos las NPU con la misma granularidad que las CPU o las GPU, pero es posible que eso solo suceda después de que hayamos durante el actual ciclo de exageración de la IA. Y aun así, nada de esta delimitación de procesadores está grabado en piedra. También existe la idea de GPNPU, que son básicamente un plato combinado de capacidades de GPU y NPU. Muy pronto, necesitaremos dividir las capacidades de PC más pequeñas con capacidad de IA por otras más grandes que podrían manejar cientos o incluso miles de TOPS.
Las NPU han existido durante varios años tanto en teléfonos como en PC
Los teléfonos también usaban NPU mucho antes de que a la mayoría de las personas o empresas les importara. Google habló sobre las NPU y las capacidades de IA ya en el Píxel 2.Huawei y Asus, centrados en China, estrenaron NPU en teléfonos como el de 2017 compañero 10 y el 2018 teléfono 5.Ambas empresas intentaron impulsar las capacidades de IA en ambos dispositivos en aquel entonces, aunque los clientes y revisores se mostraron mucho más escépticos acerca de sus capacidades. que hoy.
De hecho, las NPU actuales son mucho más poderosas que hace seis u ocho años, pero si no se hubiera prestado atención, las La capacidad de la mayoría de estos dispositivos se le habría escapado.
Los chips de computadora ya cuentan con procesadores neuronales durante años antes de 2023. Por ejemplo, las CPU de la serie M de Apple, los chips patentados basados en ARC, ya era compatible con capacidades neuronales en 2020. El chip M1 tenía 11 TOPS, pero el M2 y el M3 tenían 15,8 y 19 TOPS, respectivamente. Es solo con el Chip M4 dentro del nuevo iPad Pro 2024 que Apple decidió que necesitaba alardear de la velocidad 38 TOPS de su último motor neural. Y qué aplicaciones de AI iPad Pro realmente ¿hacer uso de esa nueva capacidad? No mucho, para ser honesto. Quizás veamos más en unas pocas semanas en WWDC 2024, pero tendremos que espera y verás.
La obsesión actual con las NPU es en parte hardware y en parte exageración
La idea detrás de la NPU es que debería poder quitar la carga de ejecutar la IA en el dispositivo fuera de la CPU o GPU, permitir a los usuarios ejecutar programas de IA, ya sean generadores de arte de IA o chatbots, sin ralentizar sus PC. El problema somos nosotros Todos seguimos buscando ese verdadero programa de IA que pueda utilizar las mayores capacidades de IA.
Gizmodo ha tenido conversaciones con los principales fabricantes de chips durante el último año, y lo único que seguimos escuchando es que los fabricantes de hardware sienten que, por una vez, han superado la demanda de software. Durante mucho tiempo, fue lo contrario. Los fabricantes de software empujarían los límites de lo que está disponible en el hardware del consumidor, lo que obliga a los fabricantes de chips a ponerse al día.
Pero desde 2023, solo hemos visto algunas aplicaciones marginales de IA capaces de ejecutarse en el dispositivo. La mayoría de las demostraciones de las capacidades de IA de Qualcomm o los chips de Intel normalmente implican ejecutar la función de desenfoque de fondo Zoom. Últimamente, hemos visto empresas comparando sus NPU con un modelo de generador de música con IA Rifusión en aplicaciones existentes como Audacity o con subtítulos en vivo en OBS Studio. Claro, puedes encontrar algunas aplicaciones que ejecuten chatbots capaces de ejecutar en el dispositivo, pero un LLM menos capaz y con menos matices no se siente como la aplicación gigante que hará que todos se queden sin compre el último teléfono inteligente o “AI PC”.
En cambio, estamos limitados a aplicaciones relativamente simples con Gemini Nano en Teléfonos píxeles, como resúmenes de texto y audio.La versión más pequeña de Google de su IA llegará al Pixel 8 y Píxel 8a. Las características de IA de Samsung que alguna fueron exclusivas del Galaxy S24 ya llegaron a teléfonos más antiguos y pronto vendrá al wearables de la empresa. No hemos evaluado la velocidad de estas capacidades de IA en dispositivos más antiguos, pero sí señala cómo los dispositivos más antiguos desde tan lejos En 2021 ya había mucha capacidad de procesamiento neuronal.
La IA en el dispositivo todavía se ve obstaculizada por la falta de potencia de procesamiento para los productos finales de consumo. Microsoft, OpenAi y Google necesitan ejecutar importantes Centros de datos con cientos de IA avanzada GPU de Nvidia, como el H100 (Microsoft y otros son supuestamente trabajando en sus propios chips de IA), para procesar algunos de los LLM o chatbots más avanzados con modelos como Géminis avanzado o GPT 4o. Esto no es barato en términos de ninguna dinero o recursos como fuerza y agua, pero es por eso que gran parte de los consumidores de IA más avanzados pueden pagar porque se ejecuta en la nube. El dispositivo beneficia a los usuarios y al medio ambiente. Si las empresas piensan que los consumidores exigen los últimos y mejores modelos de IA, el software seguirá superando lo que es posible en un dispositivo de consumidor.
Una versión de este artículo apareció originalmente en Gizmodo.
Este contenido ha sido traducido automáticamente del material original. Debido a los matices de la traducción automática, pueden existir ligeras diferencias. Para la versión original, haga clic aquí.