ByteDance, la dueña de TikTok, prepara modelo de IA con más de 10 billones de parámetros

ByteDance, la multinacional de tecnología de origen chino dueña de la red social TikTok, trabaja en lo que podría ser un parteaguas para los modelos de inteligencia artificial tal y como los conocemos.

Según información publicada en varios medios internacionales, el gigante chino se encuentra en la fase inicial de preentrenamiento de un modelo de inteligencia artificial que tendría en su programación más de 10 billones de parámetros, una cifra tres veces superior al Kimi K3 de Moonshot y cercana al tamaño de los sistemas más avanzados de Anthropic, como Mythos 5.

En programación, los parámetros son valores numéricos internos por los cuales los modelos de inteligencia artificial aprenden patrones a partir de los datos, por lo que, a mayor cantidad de parámetros, le es más fácil a la IA transformar la información de entrada proporcionada por cada usuario en una respuesta correcta a cada requerimiento.

Según agencias internacionales, este proceso de desarrollo está liderado por “Seed”, un equipo especializado de aproximadamente 2.000 miembros distribuidos en China y el extranjero, y es dirigido por Wu Yonghui, ex científico de Google DeepMind, que se incorporó a Google en 2008 y fue de los fundadores de Google Brain, el equipo pionero de investigación en inteligencia artificial y deep learning del gigante de Silicon Valley.

Esta nueva iniciativa significa otro nuevo hit en la carrera de la inteligencia artificial, reflejada en la ambición de los laboratorios chinos por recortar distancias y competir directamente en la vanguardia de los modelos de IA en la que las empresas estadounidenses parecen llevar la ventaja.

Si bien públicamente ByteDance ha descartado el uso de la “destilación” de modelos, que consiste en comprimir o copiar conocimientos de sistemas existentes de otros laboratorios, otros desarrolladores como Moonshot o Alibaba ya han anunciado importantes desarrollos en la última década, mientras que el mismo ByteDance ya usa modelos como SeeDance.

Ladrillo a ladrillo, parámetro a parámetro

Los parámetros son la red neuronal de los modelos de inteligencia artificial. Su importancia es tal, que empresas como OpenAI o Google mantienen las cifras de sus modelos, como ChatGPT y Gemini, bajo estricto secreto comercial. Sin embargo, hay varios modelos que, además de mostrar su potencial operativo, han publicado abiertamente sus datos técnicos para el conocimiento de la comunidad. Tal es el caso de. WuDao 2.0, desarrollado en Pekín, y que cuenta con 1,75 billones de parámetros, fue pionero en superar la barrera del billón mediante la “activación dispersa”.