A Batalha das Cem Modelos no Campo da IA: Problema de Engenharia ou Desafio Científico?

No mês passado, houve uma "guerra de animais" na indústria de IA.

De um lado está o Llama, lançado pela Meta, que é muito popular entre a comunidade de desenvolvedores devido à sua natureza open source. Do outro lado está o grande modelo chamado Falcon. Em maio deste ano, o Falcon-40B foi lançado e alcançou o topo do "ranking de LLMs open source".

A lista foi criada pela comunidade de modelos de código aberto, fornecendo um conjunto de padrões para medir a capacidade de LLM e realizando classificações. O ranking basicamente consiste em Llama e Falcon alternando no topo. Após o lançamento do Llama 2, a família Llama recuperou uma posição; até o início de setembro, o Falcon lançou a versão 180B, alcançando uma classificação ainda mais alta.

Curiosamente, os desenvolvedores de "Falcon" estão localizados no Instituto de Inovação Tecnológica da capital dos Emirados Árabes Unidos, Abu Dhabi. Funcionários do governo afirmaram: "Estamos envolvidos neste jogo para desestabilizar os jogadores principais".

No dia seguinte ao lançamento da versão 180B, o Ministro da Inteligência Artificial dos Emirados Árabes Unidos, Omar, foi selecionado como uma das "100 pessoas mais influentes na área de IA" pela revista Time.

Atualmente, o campo da IA já entrou na fase de "dança dos demônios": países e empresas com recursos financeiros têm planos para criar sua própria versão do ChatGPT. Apenas no círculo dos países do Golfo, já existem mais de um jogador — em agosto, a Arábia Saudita acabou de comprar mais de 3000 placas H100 para universidades locais, para treinar LLM.

O investidor Zhu Xiaohu da Jinsha River Ventures uma vez reclamou: "Naquela época, eu não dava valor à inovação dos modelos de negócios da Internet, achando que não havia barreiras: batalha das cem plataformas, batalha dos cem carros, batalha das cem transmissões; não esperava que o empreendedorismo em tecnologia avançada e modelos grandes ainda fosse uma batalha de cem modelos..."

Disseram que seria uma tecnologia difícil, como é que se transformou em um modelo de um país com uma produção de cem mil quilos por hectare?

Transformer devorando o mundo

As startups americanas, gigantes tecnológicos chineses e magnatas do petróleo do Oriente Médio podem realizar seus sonhos com grandes modelos, devem tudo isso ao famoso artigo: "Attention Is All You Need".

Em 2017, oito cientistas da computação do Google tornaram pública a algoritmia Transformer neste artigo. Este artigo é atualmente o terceiro mais citado na história da inteligência artificial, e o surgimento do Transformer disparou a atual onda de entusiasmo pela inteligência artificial.

Independentemente da nacionalidade do modelo grande atual, incluindo a série GPT que agitou o mundo, todos estão a construir em cima dos ombros do Transformer.

Antes disso, "ensinar máquinas a ler" era um problema acadêmico reconhecido. Diferente do reconhecimento de imagens, os humanos, ao lerem palavras, não apenas prestam atenção nas palavras e frases que estão vendo, mas também combinam o contexto para compreender.

Nos primeiros anos, as entradas das redes neurais eram todas independentes e não tinham a capacidade de compreender um grande trecho de texto, ou até mesmo um artigo inteiro, o que levou a problemas como a tradução de "开水间" para "open water room".

Até 2014, o cientista da computação Ilya, que trabalhava no Google e depois se mudou para a OpenAI, foi o primeiro a obter resultados. Ele usou redes neurais recorrentes (RNN) para processar linguagem natural, fazendo com que o desempenho de uma plataforma de tradução se distanciasse rapidamente da concorrência.

A RNN propôs o "design cíclico", permitindo que cada neurônio aceite tanto as informações de entrada do momento atual quanto as informações de entrada do momento anterior, conferindo assim à rede neural a capacidade de "combinar contexto".

A aparição das RNNs acendeu o entusiasmo de pesquisa na comunidade acadêmica, e mais tarde, o autor do artigo Transformer, Vaswani, também ficou imerso nisso. No entanto, os desenvolvedores logo perceberam que as RNNs tinham um sério defeito:

O algoritmo utiliza cálculos sequenciais, que de fato podem resolver problemas de contexto, mas a eficiência de execução não é alta e é difícil lidar com uma grande quantidade de parâmetros.

O design complicado do RNN rapidamente deixou Shazer aborrecido. Assim, a partir de 2015, Shazer e sete entusiastas começaram a desenvolver uma alternativa ao RNN, cujo resultado foi o Transformer.

Em comparação com a RNN, a transformação do Transformer tem dois pontos:

Primeiro, foi substituído o design cíclico da RNN pela codificação de posição, permitindo assim o cálculo em paralelo - essa mudança melhorou significativamente a eficiência de treinamento do Transformer, tornando-o capaz de lidar com grandes volumes de dados e levando a IA à era dos grandes modelos; segundo, fortaleceu ainda mais a capacidade de contexto.

Com o Transformer resolvendo de uma vez por todas várias falhas, ele gradualmente se tornou a única solução para NLP (processamento de linguagem natural), dando uma sensação de que "sem o Transformer, NLP seria uma longa noite eterna". Até mesmo Ilya abandonou a RNN, que ele mesmo havia colocado no pedestal, e se voltou para o Transformer.

Em outras palavras, o Transformer é o avô de todos os grandes modelos de hoje, pois transformou um problema de pesquisa teórica em um problema puramente de engenharia.

Em 2019, a OpenAI desenvolveu o GPT-2 com base no Transformer, surpreendendo o mundo acadêmico. Em resposta, o Google lançou rapidamente uma IA mais poderosa, chamada Meena.

Em comparação com o GPT-2, o Meena não possui inovações nos algoritmos subjacentes, apenas tem 8,5 vezes mais parâmetros de treinamento e 14 vezes mais capacidade computacional do que o GPT-2. O autor do artigo Transformer, Shazeer, ficou chocado com a "acumulação violenta" e imediatamente escreveu um memorando intitulado "Meena devora o mundo".

O surgimento do Transformer fez com que a velocidade de inovação dos algoritmos fundamentais na academia desacelerasse consideravelmente. Elementos de engenharia como engenharia de dados, escala de computação e arquiteturas de modelos tornaram-se fatores cruciais nas competições de IA, e qualquer empresa de tecnologia com alguma capacidade técnica pode criar um grande modelo.

Assim, durante uma palestra na Universidade de Stanford, o cientista da computação Andrew Ng mencionou um ponto de vista: "A IA é um conjunto de ferramentas que inclui aprendizado supervisionado, aprendizado não supervisionado, aprendizado por reforço e agora a inteligência artificial generativa. Todas essas são tecnologias gerais, semelhantes a outras tecnologias gerais como eletricidade e internet."

A OpenAI continua a ser um marco na área dos LLM, mas as empresas de análise de semicondutores acreditam que a competitividade do GPT-4 provém de soluções de engenharia - se for open source, quaisquer concorrentes poderão reproduzi-lo rapidamente.

Este analista prevê que, talvez não demore muito, outras grandes empresas de tecnologia também consigam desenvolver modelos grandes com desempenho equivalente ao GPT-4.

A vala de proteção construída sobre vidro

Atualmente, a "Batalha dos Cem Modelos" já não é uma figura de linguagem, mas sim uma realidade objetiva.

Relatórios relacionados mostram que, até julho deste ano, o número de grandes modelos no país já atingiu 130, superando os 114 dos Estados Unidos, conseguindo uma ultrapassagem em curva, e vários mitos e lendas já não são suficientes para nomear as empresas de tecnologia domésticas.

E fora da China e dos EUA, vários países mais ricos também começaram a implementar o "um país, um modelo": além do Japão e dos Emirados Árabes Unidos, há o grande modelo Bhashini liderado pelo governo indiano, o HyperClova X criado por uma empresa de internet da Coreia do Sul, entre outros.

A situação à frente parece que voltamos àquela era de expansão da Internet, onde havia bolhas por todo o lado e a "capacidade de dinheiro" se confrontava.

Como mencionado anteriormente, o Transformer transformou os grandes modelos em um problema puramente de engenharia; desde que haja pessoas com dinheiro e placas gráficas, o restante é deixado para os parâmetros. No entanto, embora o ingresso não seja difícil de conseguir, isso não significa que todos tenham a oportunidade de se tornar BAT na era da IA.

O "Animal War" mencionado no início é um exemplo típico: embora o Falcon esteja classificado acima do Llama, é difícil dizer quanto impacto causou no Meta.

É de conhecimento geral que as empresas que tornam suas conquistas de pesquisa acessíveis ao público o fazem tanto para compartilhar os benefícios da tecnologia com a sociedade, quanto para estimular a inteligência das pessoas. À medida que professores universitários, instituições de pesquisa e pequenas e médias empresas usam e melhoram continuamente o Llama, a Meta pode aplicar esses resultados em seus próprios produtos.

Para grandes modelos de código aberto, uma comunidade de desenvolvedores ativa é a sua principal vantagem competitiva.

E já em 2015, quando criou o laboratório de IA, a Meta estabeleceu o tom principal de ser open source; Zuckerberg, que fez fortuna com o negócio das redes sociais, entende muito bem a importância de "ter boas relações com o público".

Por exemplo, em outubro, a Meta organizou uma atividade chamada "Incentivo a Criadores em AI": desenvolvedores que utilizarem o Llama 2 para resolver problemas sociais como educação e meio ambiente terão a oportunidade de receber um financiamento de 500 mil dólares.

Hoje em dia, a série Llama da Meta tornou-se um verdadeiro indicador do LLM open source.

Até o início de outubro, 8 dos 10 principais LLMs em um ranking de código aberto eram baseados no Llama 2, todos utilizando sua licença de código aberto. Apenas nesta plataforma, já existem mais de 1500 LLMs que usam a licença de código aberto do Llama 2.

Claro, melhorar o desempenho como o Falcon também não é uma má ideia, mas até hoje, a maioria dos LLMs no mercado ainda apresenta uma diferença de desempenho visível em relação ao GPT-4.

Por exemplo, há alguns dias, o GPT-4 conquistou o primeiro lugar no teste AgentBench com uma pontuação de 4,41. O padrão AgentBench foi lançado pela Universidade Tsinghua em conjunto com a Universidade Estadual de Ohio e a Universidade da Califórnia, Berkeley, para avaliar a capacidade de raciocínio e tomada de decisão dos LLM em ambientes de geração abertos multidimensionais. O conteúdo do teste inclui tarefas em 8 ambientes diferentes, como sistemas operacionais, bancos de dados, grafos de conhecimento e batalhas de cartas.

Os resultados dos testes mostram que o segundo colocado, Claude, teve apenas 2,77 pontos, com uma diferença ainda bastante evidente. Quanto aos LLMs de código aberto com grande impacto, suas pontuações nos testes ficam geralmente em torno de 1 ponto, menos de 1/4 do GPT-4.

É importante saber que o GPT-4 foi lançado em março deste ano, após um esforço de mais de meio ano por parte de concorrentes globais. A causa dessa diferença é a equipe de cientistas da OpenAI, com uma "densidade de QI" extremamente alta, juntamente com a experiência acumulada ao longo de anos de pesquisa em LLM, o que lhes permite estar sempre à frente.

Ou seja, a capacidade central dos grandes modelos não são os parâmetros, mas sim a construção do ecossistema (código aberto) ou a capacidade de inferência pura (código fechado).

À medida que a comunidade de código aberto se torna cada vez mais ativa, o desempenho de vários LLM pode convergir, uma vez que todos estão usando arquiteturas de modelo semelhantes e conjuntos de dados semelhantes.

Outro problema mais intuitivo é: além do Midjourney, parece que nenhum outro grande modelo conseguiu ganhar dinheiro.

Ponto de ancoragem do valor

Em agosto deste ano, um artigo intitulado "OpenAI pode declarar falência no final de 2024" chamou bastante a atenção. A ideia central do artigo pode ser resumida em uma frase: a velocidade com que a OpenAI está queimando dinheiro é muito rápida.

O texto menciona que, desde o desenvolvimento do ChatGPT, as perdas da OpenAI estão a expandir-se rapidamente, com um prejuízo de cerca de 540 milhões de dólares apenas em 2022, tendo que esperar que os investidores da Microsoft paguem a conta.

Embora o título do artigo seja alarmante, ele também fala sobre a situação de vários fornecedores de grandes modelos: um sério desbalanceamento entre custos e receitas.

Custos excessivamente altos levaram a que atualmente apenas a Nvidia, e no máximo a Broadcom, tenham lucrado muito com a inteligência artificial.

De acordo com estimativas de consultoria, a NVIDIA vendeu mais de 300 mil unidades do H100 no segundo trimestre deste ano. Este é um chip de IA cuja eficiência no treinamento de IA é extremamente alta, e empresas de tecnologia e instituições de pesquisa em todo o mundo estão em busca dele. Se empilharmos essas 300 mil unidades do H100, seu peso será equivalente a 4,5 aviões Boeing 747.

Os resultados da Nvidia também dispararam, com uma receita que aumentou 854% em relação ao ano anterior, surpreendendo Wall Street. A propósito, atualmente o preço do H100 no mercado de segunda mão já foi inflacionado para 40-50 mil dólares, mas seu custo de materiais é de apenas cerca de 3000 dólares.

Os altos custos de poder computacional tornaram-se, de certa forma, um obstáculo ao desenvolvimento da indústria. A Sequoia Capital fez uma estimativa: as empresas de tecnologia em todo o mundo devem gastar 200 bilhões de dólares por ano na construção de infraestrutura para grandes modelos; em comparação, os grandes modelos podem gerar no máximo 75 bilhões de dólares em receita por ano, havendo uma lacuna de pelo menos 125 bilhões de dólares.

Além disso, com exceção de alguns casos isolados como o Midjourney, a maioria das empresas de software, após incorrerem em enormes custos, ainda não conseguiu pensar em como ganhar dinheiro. Em particular, os dois líderes da indústria - Microsoft e Adobe - estão a ter algumas dificuldades.

A Microsoft e a OpenAI colaboraram no desenvolvimento de uma ferramenta de geração de código AI chamada GitHub Copilot. Embora haja uma taxa mensal de 10 dólares, devido aos custos de infraestrutura, a Microsoft acaba por ter um prejuízo de 20 dólares, e os usuários intensivos podem fazer com que a Microsoft perca até 80 dólares por mês. Assim, pode-se supor que o Microsoft 365 Copilot, que tem um preço de 30 dólares, poderá ter um prejuízo ainda maior.

Não por acaso, a Adobe, que acaba de lançar a ferramenta Firefly AI, também rapidamente lançou um sistema de pontos complementar, para evitar que o uso excessivo pelos usuários cause prejuízos à empresa. Assim que um usuário utiliza mais pontos do que os alocados mensalmente, a Adobe reduz a velocidade do serviço.

É importante saber que a Microsoft e a Adobe já são gigantes de software com cenários de negócios claros e uma grande quantidade de usuários pagantes prontos. E a maioria dos grandes modelos, que têm muitos parâmetros, é a maior aplicação.