Mientras ByteDance desarrolla modelos de inteligencia artificial para competir en ChinaSegún se informa, el bot que utiliza para extraer datos para entrenar esos modelos está aumentando su actividad.
El dueño de TikTok lanzó su propio raspador webBytespider, en abril, y ahora está extrayendo datos varias veces más rápido que los bots de otras empresas, informó Fortune, citando una investigación de Kasada, una empresa de gestión de bots, y Dark Visitors, un monitor de bots raspadores. Las empresas que desarrollan modelos de IA, como Google (GOOGL) y Meta (META
)
, use robots raspadores para recopilar datos para entrenar y mejorar el modelos de lenguaje de gran tamaño (LLM) y modelos multimodales que potencian los servicios de IA de las empresas.
Bytespider está extrayendo datos web aproximadamente 25 veces más rápido que el robot de OpenAI, GPTbot, dijo a Fortune Sam Crowther, director ejecutivo de Kasada. En comparación con ClaudeBot de Anthropic, Bytespider es 3000 veces más rápido.
Al igual que los bots de OpenAI y Anthropic, Bytespider ignora
instrucciones de robots.txt, una línea de código no vinculante legalmente que le dice a los raspadores web a qué datos pueden y no pueden acceder en un sitio web, informó Fortune. Según los datos de Kasada, Bytespider ha tenido picos en la actividad de raspado en las últimas seis semanas.“Es como si estuvieran tratando desesperadamente de ponerse al día”, dijo Crowther a Fortune. ByteDance no respondió de inmediato a una solicitud de comentarios.La compañía con sede en China lanzó su Doubao, un chatbot impulsado por IA, en agosto pasado, y está demostrando ser un duro competidor para su rival local Baidu.
(BIDU) Ernie Bot. En mayo, ByteDance lanzó una serie de LLM de Doubao para empresas, que Cuestan menos que los modelos de los competidores chinos de la empresa
. Ahora, ByteDance está planeando Construir un nuevo modelo de IA usando chips de Huawei de China, informó Reuters, citando a tres personas anónimas familiarizadas con el asunto. Sin embargo, un portavoz de ByteDance le dijo anteriormente a Quartz que la compañía está No desarrollar un nuevo modelo de IA. La empresa también ha diseñó dos chips de IA Con una empresa de fabricación de semiconductores de Taiwán
Este contenido ha sido traducido automáticamente del material original. Debido a los matices de la traducción automática, pueden existir ligeras diferencias. Para la versión original, haga clic aquí.