Apple $AAPL está en conversaciones iniciales con PrismML, una startup que comprime grandes modelos de IA para ejecutarse en smartphones, dijo el CEO de PrismML, Babak Hassibi a CNBC. Hassibi describió las discusiones como preliminares y dijo que sigue sin estar claro a dónde llevarán, pero que "las cosas están progresando bien."
PrismML lanzó su modelo Bonsai 27B el martes, que según la compañía reduce un modelo de 27.800 millones de parámetros de aproximadamente 54GB a tan solo 3.9GB al almacenar cada peso del modelo como uno o tres valores posibles en lugar de una cifra estándar de 16 bits. Con ese tamaño, el modelo puede funcionar en un iPhone 15 o más nuevo, dijo la compañía.
Hassibi dijo a CNBC que Apple y otras compañías han estado midiendo los modelos de la startup para velocidad, uso de energía y rendimiento en el dispositivo. Apple no comentó al respecto.
Según PrismML, los modelos comprimidos requieren de una décima a una quinceava parte de la memoria de las versiones estándar, entregan respuestas de seis a ocho veces más rápido y consumen de tres a seis veces menos energía. Hassibi señaló que la compresión tiene un costo: los modelos pierden un pequeño número de puntos porcentuales en precisión general, y el conocimiento factual se degrada antes que capacidades como el razonamiento y la codificación.
La serie Bonsai 27B está disponible en dos variantes. La versión de 1 bit, de aproximadamente 4 GB, está optimizada para la máxima compresión y está diseñada para ejecutarse en dispositivos móviles de alta gama, incluido el iPhone 17 Pro, donde la compañía dijo que logra 11 tokens por segundo. La versión ternaria de 1.58 bits ofrece mayor calidad mientras sigue siendo significativamente más pequeña que un modelo de precisión completa, y logra más del 95% del rendimiento de referencia de precisión completa, dijo la empresa. Ambos modelos están disponibles bajo una licencia Apache 2.0 gratuita. PrismML dijo que el modelo Gemma de código abierto de Google $GOOGL es el siguiente en su línea de producción.
PrismML surgió de investigaciones realizadas en el Instituto de Tecnología de California, que posee las patentes relevantes y otorga a PrismML una licencia exclusiva para comercializarlas. La startup recaudó una ronda semilla de $16.25 millones en marzo respaldada por Khosla Ventures.
Apple ha estado trabajando para expandir cuánto procesamiento de IA ocurre directamente en sus dispositivos en lugar de en la nube. Apple presentó una versión renovada de Siri en su Conferencia Mundial de Desarrolladores en junio, impulsada por Google Gemini, con iOS 27 entrando en beta pública el lunes. Actualmente, Apple envía las consultas más exigentes a sus servidores en la nube privados o modelos de terceros, reservando un subconjunto de tareas para el procesamiento en el dispositivo. Desplazar más trabajo de IA al propio iPhone reduciría los tiempos de respuesta, recortaría los gastos en infraestructura de nube y reforzaría la narrativa de privacidad de larga data de Apple.