Эпоха больших моделей ИИ: Восход Трансформера и битва ста моделей

В прошлом месяце в мире ИИ разразилась "битва животных". С одной стороны - Llama (ламантин) от Meta, с другой - большой модель под названием Falcon (сокол). Эти две модели в открытом рейтинге LLM конкурируют друг с другом, поочередно занимая первые места.

Интересно, что разработчики Falcon не являются технологическими гигантами, а представляют собой исследовательский институт из Объединенных Арабских Эмиратов. Официальные лица страны заявили, что они участвуют в соревновании по ИИ, чтобы "подорвать основных игроков". Теперь, при наличии достаточных финансовых средств, почти все страны и компании создают свои собственные большие языковые модели.

За этой "битвой моделей" стоит алгоритм Transformer, выпущенный Google в 2017 году. Он решил проблему понимания длинного текста машинами, превратив большие модели из теоретической задачи в инженерную. Сегодня как GPT, так и другие модели основываются на базе Transformer.

Появление Transformer значительно упростило разработку ИИ. Теперь, при наличии достаточной вычислительной мощности и данных, любая компания может обучить крупную модель. Это также привело к текущей ситуации, когда наблюдается множество разнообразных моделей - по статистике, количество крупных моделей в Китае уже превышает число в США и достигает 130.

Однако, сможет ли кто-то стать гигантом в эпоху ИИ, зависит не просто от простого накопления параметров. Успех Meta Llama заключается в его активном сообществе разработчиков. А причина, по которой GPT-4 значительно опережает, заключается в мощной научной базе OpenAI.

В настоящее время главной проблемой в индустрии крупных моделей является проблема прибыльности. Высокие затраты на вычислительные мощности приводят к тому, что многие компании серьезно теряют на AI. По оценкам, ежегодные инвестиции в инфраструктуру по всей отрасли могут превысить доход в 125 миллиардов долларов.

Поэтому в будущем конкуренция, возможно, будет не в том, у кого больше параметров модели, а в том, кто сможет найти подходящую бизнес-модель и действительно превратить ИИ в производительную силу. Как успех iPhone 4 не зависел от процессора, а от богатой экосистемы приложений, так и победителями в отрасли ИИ в будущем, вероятно, станут те компании, которые смогут предложить практические решения.