Los puntos de referencia de la IA son esenciales para evaluar el rendimiento de un modelo. Aquí se muestra lo que los puntos de referencia pueden y no pueden hacer.
Google DeepMind via Pexels
Los estudiantes toman pruebas estandarizadas en la escuela para evaluar su desempeño en relación con sus compañeros de clase. Este es el mismo principio detrás de los puntos de referencia de inteligencia artificial (IA), que prueban las habilidades de cada modelo y muestran a las empresas dónde necesitan mejorar. Aunque no hay una prueba perfecta, los puntos de referencia pueden ayudar a las empresas de IA a crear modelos más seguros y confiables para uso personal y empresarial.
Neeqolah Creative Works via Unsplash
Un sistema de IA es un modelo que utiliza para analizar datos, generar contenido y tomar decisiones. Antes de que las empresas lancen sistemas de IA al público, los modelos pasan por entrenamiento y pruebas. Sin embargo, incluso después de pruebas rigurosas, los modelos pueden proporcionar o generar contenido dañino.
Únete a más de 500.000 lectores que comienzan su día con Quartz.
Al suscribirte, aceptas nuestros Términos de servicio y Política de privacidad.
Aquí es donde Benchmarks de IA entran en juego. Un benchmark es una prueba que evalúa el rendimiento del modelo y lo compara con otros sistemas o con un conjunto de respuestas estandarizadas. Cuando las empresas obtienen los resultados, pueden identificar áreas que necesitan mejora y evaluar cómo sus modelos se comparan con otros software de IA en el mercado.
Durante la prueba, los modelos de IA completan un conjunto de tareas que pueden incluir extraer información de un conjunto de datos de preguntas o imágenes. Las tareas comunes incluyen traducción, reconocimiento de objetos, generación de código, comprensión del lenguaje y razonamiento. Después, los desarrolladores reciben una puntuación de prueba que les ayuda a medir la utilidad de su modelo.
Los resultados pueden incluir estas métricas:
Algunos de los benchmarks de IA más famosos incluyen:
Los resultados de referencia dicen a los desarrolladores qué tan bien funciona su IA en comparación con otros modelos. Una vez que han analizado las fortalezas y debilidades de su modelo, pueden lanzarlo al público o continuar ajustando el software para mejorar su puntuación. Esto ayuda a los desarrolladores a establecer metas y cumplir sus plazos.
Además, las referencias proporcionan una visión del progreso general de la IA. A medida que los modelos pasan estos exámenes, los desarrolladores crean referencias más avanzadas que desafían a la IA a alcanzar nuevas alturas. Estos exámenes pueden contener conjuntos de datos más grandes, estándares más altos, tareas cada vez más difíciles y más recursos para los creadores.
Con esta información, las empresas pueden elegir el mejor modelo para sus tareas. Dependiendo de sus necesidades, pueden querer software que sobresalga en traducción, análisis de texto, detección de imágenes, matemáticas, predicciones o escritura. Las altas puntuaciones de referencia pueden dar a las empresas confianza de que están invirtiendo en el software adecuado.
Si bien las referencias dan a los desarrolladores una idea general de la efectividad de su modelo, no pueden predecir el rendimiento del software en situaciones del mundo real. Las referencias someten a los modelos a un número limitado de pruebas en un entorno controlado. Sin embargo, una vez que el público empiece a usar estos modelos, surgirán escenarios que los creadores de las referencias nunca consideraron.
Como resultado, es imposible determinar cómo reaccionará una IA en cada situación. Los benchmarks son una herramienta útil, pero no son una garantía.
Del mismo modo, una alta puntuación en benchmarks no prueba que el modelo de IA entiende los datos como un usuario humano. El modelo puede sobresalir en responder preguntas de prueba pero tener dificultades con el razonamiento, la comprensión y el análisis, lo que lo hace menos útil para las empresas que esperan un pensamiento profundo de su software.
Generalmente, los benchmarks prueban las habilidades técnicas del modelo, como el reconocimiento de objetos y la comprensión del lenguaje. Sin embargo, no evalúan la capacidad de la IA para comportarse de manera justa y ética, adaptarse a indicaciones inusuales o generar respuestas creativas. Para estas tareas, un modelo puede necesitar capacitación con evaluadores humanos.
Los benchmarks pueden motivar a los desarrolladores a "enseñar el examen" creando bots que aprueban sus exámenes pero no logran enfrentar desafíos del mundo real, como resumir documentos o generar poesía. Cuando las empresas entrenan sus modelos con un conjunto de datos limitado, el software podría fallar al enfrentarse a un mensaje que nunca ha visto antes.
Estos conjuntos de datos también podrían tener sesgos que influyen en las puntuaciones del modelo o lo alientan a producir materiales dañinos. Cuando los recolectores recopilan texto e imágenes para estos conjuntos de datos, por ejemplo, pueden incluir materiales racistas o sexistas que conducen a microagresiones.
Muchos estándares están desactualizados, lo que lleva a resultados defectuosos. Aunque un modelo pueda obtener una puntuación perfecta, el examen podría haber extraído información de sitios web antiguos o rotos que alojaban datos inexactos. Esto requiere que las empresas vuelvan a probar sus modelos con estándares avanzados, como el ultra-desafiante "El Último Examen de la Humanidad."
Además, algunas tareas son simplemente difíciles de evaluar. Un estándar podría probar un modelo para hechos básicos, pero podría tener dificultades para comprender conceptos avanzados, como escribir una canción original o responder a preguntas capciosas. Sin un entrenamiento riguroso, una IA podría decepcionar a los usuarios al no emular las características humanas anticipadas, como el sentido común.
