Era dos Grandes Modelos de IA: A Ascensão do Transformer e a Batalha dos Cem Modelos

No mês passado, houve uma "guerra de animais" no mundo da IA. De um lado está o Llama (Lama) da Meta, do outro lado está um grande modelo chamado Falcon (Falcão). Esses dois modelos estão em uma corrida acirrada no ranking de LLMs de código aberto, alternando-se no topo.

Curiosamente, os desenvolvedores do Falcon não são gigantes da tecnologia, mas sim um instituto de pesquisa dos Emirados Árabes Unidos. Funcionários do país afirmaram que estão participando da corrida da IA para "desafiar os jogadores principais". Atualmente, desde que tenham recursos financeiros suficientes, praticamente todos os países e empresas estão criando seus próprios grandes modelos de linguagem.

Por trás desta "batalha dos modelos", está o algoritmo Transformer lançado pelo Google em 2017. Ele resolveu o problema da compreensão de textos longos por máquinas, transformando grandes modelos de uma questão teórica em um problema de engenharia. Hoje, tanto o GPT quanto outros modelos são baseados na arquitetura Transformer.

A aparição do Transformer reduziu significativamente a barreira de entrada para o desenvolvimento de IA. Desde que haja poder computacional e dados suficientes, qualquer empresa pode treinar um grande modelo. Isso também levou à atual situação de florescimento - segundo estatísticas, o número de grandes modelos na China já superou o dos Estados Unidos, atingindo 130.

No entanto, se será possível tornar-se um gigante na era da IA, a chave não está em simplesmente acumular parâmetros. O sucesso do Llama da Meta deve-se à sua ativa comunidade de desenvolvedores. E a razão pela qual o GPT-4 está tão à frente deve-se à forte capacidade de pesquisa da OpenAI.

Atualmente, o maior desafio enfrentado pela indústria de grandes modelos é a questão da lucratividade. O elevado custo de computação tem causado grandes perdas a muitas empresas em IA. Estima-se que o investimento total da indústria em infraestrutura possa ultrapassar os 125 mil milhões de dólares em receita anualmente.

Assim, a competição futura pode não estar em quem tem mais parâmetros de modelo, mas sim em quem consegue encontrar o modelo de negócio certo, transformando realmente a IA em produtividade. Tal como o sucesso do iPhone 4 não estava no processador, mas sim no ecossistema rico de aplicações, os vencedores da indústria de IA no futuro provavelmente serão também aquelas empresas que conseguem oferecer soluções práticas.