Era de los grandes modelos de IA: El surgimiento de Transformer y la guerra de los cien modelos

El mes pasado, en el mundo de la IA, se desató una "guerra de animales". Por un lado está Llama de Meta (la llama), y por el otro un gran modelo llamado Falcon (el halcón). Estos dos modelos han estado compitiendo en la clasificación de LLM de código abierto, alternando en la cima.

Curiosamente, los desarrolladores de Falcon no son gigantes tecnológicos, sino un instituto de investigación de los Emiratos Árabes Unidos. Funcionarios del país han declarado que participan en la competencia de IA para "desafiar a los jugadores clave". Hoy en día, casi todos los países y empresas están creando sus propios modelos de lenguaje grande, siempre que tengan suficiente capacidad financiera.

Detrás de esta "guerra de modelos", se encuentra el algoritmo Transformer publicado por Google en 2017. Este algoritmo resolvió el problema de que las máquinas entendieran textos largos, convirtiendo los grandes modelos de un problema de investigación teórica a un problema de ingeniería. Hoy en día, tanto GPT como otros modelos se basan en la arquitectura Transformer.

La aparición de Transformer ha reducido en gran medida la barrera de entrada para la investigación y desarrollo de IA. Con suficiente potencia de cálculo y datos, cualquier empresa puede entrenar un gran modelo. Esto también ha llevado a la situación actual de gran diversidad: según las estadísticas, el número de grandes modelos en China ha superado al de Estados Unidos, alcanzando los 130.

Sin embargo, la clave para convertirse en un gigante en la era de la IA no radica simplemente en acumular parámetros. El éxito de Llama de Meta se debe a su activa comunidad de desarrolladores. Por otro lado, la ventaja de GPT-4 proviene de la poderosa capacidad de investigación de OpenAI.

Actualmente, el mayor desafío que enfrenta la industria de modelos grandes es el problema de la rentabilidad. Los altos costos de computación han llevado a muchas empresas a sufrir pérdidas significativas en IA. Se estima que la inversión en infraestructura de toda la industria podría superar los 125 mil millones de dólares en ingresos anuales.

Por lo tanto, la competencia futura puede que no esté en quién tiene más parámetros en su modelo, sino en quién puede encontrar el modelo de negocio adecuado y realmente transformar la IA en productividad. Así como el éxito del iPhone 4 no radicó en su procesador, sino en su rica ecosistema de aplicaciones, los ganadores de la industria de la IA en el futuro probablemente serán también aquellas empresas que puedan ofrecer soluciones prácticas.