L'ère des grands modèles d'IA : L'essor des Transformateurs et la guerre des centaines de modèles

Le mois dernier, le monde de l'IA a été secoué par une "bataille des animaux". D'un côté se trouve Llama de Meta (lama), de l'autre le grand modèle nommé Falcon (faucon). Ces deux modèles se sont battus pour la première place dans le classement des LLM open source, se relançant tour à tour.

Il est intéressant de noter que les développeurs de Falcon ne sont pas des géants de la technologie, mais un institut de recherche des Émirats. Les fonctionnaires du pays ont déclaré qu'ils participaient à la course à l'IA pour "bousculer les acteurs majeurs". Aujourd'hui, tant qu'il y a suffisamment de ressources financières, presque tous les pays et entreprises créent leur propre grand modèle de langage.

Derrière cette "bataille des cent modèles" se trouve l'algorithme Transformer publié par Google en 2017. Il a résolu le problème de la compréhension des longs textes par les machines, transformant les grands modèles d'une recherche théorique en un problème d'ingénierie. Aujourd'hui, que ce soit GPT ou d'autres modèles, tous sont basés sur le Transformer.

L'apparition des Transformers a considérablement abaissé le seuil d'entrée dans le développement de l'IA. Tant qu'une entreprise dispose de suffisamment de puissance de calcul et de données, elle peut entraîner un grand modèle. Cela a également conduit à une situation florissante - selon les statistiques, le nombre de grands modèles en Chine a déjà dépassé celui des États-Unis, atteignant 130.

Cependant, la capacité à devenir un géant à l'ère de l'IA ne réside pas simplement dans l'accumulation de paramètres. Le succès de Llama de Meta est dû à sa communauté de développeurs active. Quant à GPT-4, son avance considérable provient de la puissance de recherche d'OpenAI.

Actuellement, le plus grand défi auquel l'industrie des grands modèles est confrontée est la question de la rentabilité. Les coûts élevés de calcul entraînent de lourdes pertes pour de nombreuses entreprises dans le domaine de l'IA. On estime que les investissements dans l'infrastructure de l'ensemble de l'industrie pourraient dépasser les 125 milliards de dollars de revenus par an.

Ainsi, la concurrence future ne résidera peut-être pas dans le nombre de paramètres du modèle, mais dans celui qui saura trouver le bon modèle commercial, transformant véritablement l'IA en productivité. Tout comme le succès de l'iPhone 4 ne résidait pas dans le processeur, mais dans un écosystème d'applications riche, les gagnants de l'industrie de l'IA seront probablement ceux qui pourront offrir des solutions pratiques.