Si la inteligencia artificial se ha convertido en el salvaje oeste tecnológico, algunas nuevas características de seguridad de Azure de Microsoft están destinadas a frenarla. Microsoft compartió una serie de herramientas el jueves que dice se ayudar a los modelos de IA de sus clientes prevenir alucinaciones — o la tendencia de los chatbots a inventar cosas. Las características están en su Azure AI, un servicio basado en la nube que brinda soporte y tecnologías a desarrolladores y organizaciones.
Una de esas características se conoce como detección de conexión a tierra, que está diseñada para identificar alucinaciones basadas en texto.
Microsoft dice que la nueva característica encontrará y marcará “material no fundamentado” o contenido que no parece estar anclado en hechos o sentido , en respuestas de chatbots para ayudar a mejorar su calidad.
Leer más: Los mayores errores del chatbot de IA (hasta ahora)
Microsoft lanzó su propio chatbot, Copilot, en febrero de 2023. También tiene extensa asociación con OpenAI que incluye Servicio OpenAI de Azure, que brinda a los desarrolladores la capacidad de crear sus propias aplicaciones de IA a través del acceso directo a modelos OpenAI respaldados por Azure. los clientes incluyen la consultora KPMG, el gigante de las telecomunicaciones AT&T y Reddit.
Entre las otras herramientas implementadas el jueves se están escudos rápidos, que bloquea ataques a modelos generativos de IA, como inyecciones rápidas o mensajes maliciosos de documentos externos que alejan a los modelos del entrenamiento y la seguridad. barandillas.
“Sabemos que no todos los clientes tienen una experiencia profunda en ataques de inyección rápida o contenido de odio, por lo que el sistema de evaluación genera las indicaciones necesario para simular este tipo de ataques”, dijo a The Verge Sarah Bird, directora de productos de IA responsable de Microsoft, y agregó que los clientes luego, vea una puntuación y resultados basados en el desempeño de un modelo en estas simulaciones.
Azure AI también implementará otras dos funciones de monitoreo y seguridad pronto, dijo Microsoft.
Este tipo de cuestiones, aunque aparentemente benignas, han dado lugar a algunas situaciones incómodas (y algunos altamente problemáticos) Errores por parte de los generadores de texto e imágenes impulsados por IA. La IA Gemini de Google provocó controversia en febrero después de generar imágenes históricamente inexactas como nazis racialmente diversos. ChatGPT de OpenAI recientemente completamente fuera de lugar el mes pasado con galimatías y alucinaciones que dejaron a los usuarios rascándose la cabeza.
Este contenido ha sido traducido automáticamente del material original. Debido a los matices de la traducción automática, pueden existir ligeras diferencias. Para la versión original, haga clic aquí.