معركة المئة نموذج في مجال الذكاء الاصطناعي: مشكلة هندسية أم تحدي بحثي؟

في الشهر الماضي، اندلعت "حرب الحيوانات" في صناعة الذكاء الاصطناعي.

من جهة، هناك Llama الذي أطلقته Meta، والذي يحظى بشعبية كبيرة في مجتمع المطورين بسبب طبيعته المفتوحة المصدر. ومن جهة أخرى، هناك نموذج كبير يسمى Falcon. في مايو من هذا العام، تم إطلاق Falcon-40B، ليحتل المركز الأول في "تصنيف LLM المفتوح المصدر".

تم إعداد هذه القائمة من قبل مجتمع نماذج المصدر المفتوح، حيث توفر مجموعة من المعايير لحساب قدرات LLM وترتيبها. تتناوب Llama وFalcon بشكل أساسي على تصدر القائمة. بعد إطلاق Llama 2، تمكنت عائلة Llama من استعادة موقعها؛ وفي بداية سبتمبر، أطلق Falcon النسخة 180B، محققة تصنيفا أعلى.

من المثير للاهتمام أن مطور "الصقر" هو معهد الابتكار التكنولوجي الموجود في أبوظبي، عاصمة الإمارات العربية المتحدة. وقال مسؤول حكومي: "نشارك في هذه اللعبة من أجل زعزعة استقرار اللاعبين الرئيسيين".

في اليوم الثاني من إصدار النسخة 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات، عمر، ضمن "أكثر 100 شخص تأثيراً في مجال الذكاء الاصطناعي" التي اختارتها مجلة تايم.

الآن، دخل مجال الذكاء الاصطناعي بالفعل مرحلة "رقصة الشياطين الجماعية": الدول والشركات التي لديها القدرة المالية، لديها خطط لإنشاء إصدار محلي من ChatGPT. فقط في دائرة الدول الخليجية، هناك أكثر من لاعب واحد - في أغسطس، اشترت المملكة العربية السعودية أكثر من 3000 وحدة H100 للجامعات المحلية، لاستخدامها في تدريب LLM.

انتقد تشو شياوهو من شركة جينشا جيانغ للاستثمار: "في ذلك الوقت، كنت أحتقر نماذج الابتكار التجاري على الإنترنت، كنت أعتقد أنه لا توجد حواجز: معركة مئة مجموعة، ومعركة مئة سيارة، ومعركة مئة بث؛ لم أتخيل أن ريادة الأعمال في التكنولوجيا الصلبة والنماذج الكبيرة لا تزال معركة مئة نموذج..."

كيف تحولنا من التكنولوجيا الصعبة العالية المستوى إلى إنتاج مائة ألف جين لكل فدان في كل دولة؟

ترانسفورمر يلتهم العالم

يجب على الشركات الناشئة الأمريكية، وعملاق التكنولوجيا الصينية، وأمراء النفط في الشرق الأوسط الذين يسعون لتحقيق أحلامهم في النماذج الكبيرة أن يشكروا تلك الورقة الشهيرة: "الانتباه هو كل ما تحتاجه".

في عام 2017، نشر ثمانية من علماء الكمبيوتر في جوجل خوارزمية Transformer في هذه الورقة البحثية للعالم بأسره. هذه الورقة البحثية هي الآن ثالث أكثر الأوراق استشهاداً في تاريخ الذكاء الاصطناعي، وقد أطلق ظهور Transformer شرارة هذه الموجة الجديدة من الذكاء الاصطناعي.

بغض النظر عن جنسية النموذج الكبير الحالي، بما في ذلك سلسلة GPT التي أحدثت ضجة في العالم، فإنها جميعًا تستند إلى أكتاف Transformer.

قبل ذلك، كان "تعليم الآلة القراءة" يُعتبر مشكلة أكاديمية معترف بها. على عكس التعرف على الصور، فإن البشر عند قراءة النصوص لا يركزون فقط على الكلمات والعبارات التي يرونها حاليًا، بل يدمجون أيضًا السياق لفهم المعنى.

في السنوات الأولى، كانت مدخلات الشبكات العصبية مستقلة عن بعضها البعض، ولم تكن لديها القدرة على فهم فقرة طويلة من النص، أو حتى مقال كامل، ولهذا ظهرت مشاكل مثل ترجمة "开水间" إلى "open water room".

حتى عام 2014، كان عالم الكمبيوتر إيليا، الذي عمل في جوجل ثم انتقل إلى OpenAI، هو أول من حقق نتائج. استخدم الشبكات العصبية التكرارية (RNN) لمعالجة اللغة الطبيعية، مما جعل أداء منصة ترجمة معينة يتفوق بسرعة على المنافسين.

اقترح RNN "تصميم دائري"، مما يسمح لكل خلية عصبية باستقبال معلومات الإدخال الحالية وأيضًا معلومات الإدخال في اللحظة السابقة، وبالتالي يمنح الشبكة العصبية القدرة على "دمج السياق".

أدى ظهور RNN إلى إشعال حماس البحث في الأوساط الأكاديمية، وقد انغمس مؤلف ورقة Transformer شازيل في ذلك لفترة من الوقت. ومع ذلك، أدرك المطورون بسرعة أن RNN تعاني من عيب خطير:

تستخدم الخوارزمية الحساب التتابعي، وعلى الرغم من أنها قادرة على حل مشكلة السياق، إلا أن كفاءتها في التشغيل ليست عالية، ومن الصعب التعامل مع كميات كبيرة من المعلمات.

أدى التصميم المعقد لـ RNN إلى شعور شازيل بالملل بسرعة. لذلك، منذ عام 2015، بدأ شازيل و7 من أصدقائه في تطوير بديل لـ RNN، وكانت النتيجة هي Transformer.

بالمقارنة مع RNN ، هناك نقطتان رئيسيتان في ثورة Transformer:

أولاً، تم استبدال التصميم الدوري لـ RNN بطريقة ترميز الموقع، مما سمح بالحساب المتوازي - وقد أدت هذه التغييرات إلى تحسين كبير في كفاءة تدريب Transformer، مما جعله قادرًا على معالجة البيانات الكبيرة ودفع الذكاء الاصطناعي نحو عصر النماذج الكبيرة؛ ثانياً، تم تعزيز قدرة السياق بشكل أكبر.

مع قيام Transformer بحل العديد من العيوب دفعة واحدة، تطور تدريجياً ليصبح الحل الوحيد في NLP (معالجة اللغة الطبيعية)، مما يعطي شعوراً بأنه "إذا لم يولد Transformer، فإن NLP ستبقى في ظلام دامس إلى الأبد". حتى إيليا تخلى عن RNN الذي وضعه بنفسه على المذبح، وانتقل إلى Transformer.

بمعنى آخر، فإن Transformer هو الجد الأكبر لجميع النماذج الكبيرة اليوم، لأنه حول النماذج الكبيرة من مشكلة بحث نظرية إلى مشكلة هندسية بحتة.

في عام 2019، طورت OpenAI نموذج GPT-2 استنادًا إلى Transformer، مما أثار إعجاب الأوساط الأكاديمية. كرد فعل، أصدرت Google بسرعة ذكاءً اصطناعيًا أقوى يسمى Meena.

بالمقارنة مع GPT-2، لا تمتلك Meena أي ابتكارات في الخوارزميات الأساسية، بل تحتوي فقط على 8.5 أضعاف عدد المعلمات التدريبية و 14 ضعف القدرة الحاسوبية مقارنة بـ GPT-2. كان المؤلف شازيل من ورقة Transformer مذهولًا من "التكديس العنيف"، فكتب على الفور مذكرة بعنوان "Meena تلتهم العالم".

ظهور Transformer جعل سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية تتباطأ بشكل كبير. أصبحت عناصر الهندسة مثل هندسة البيانات وحجم الحوسبة وهيكل النموذج، عوامل حاسمة في المنافسات المتعلقة بالذكاء الاصطناعي، حيث يمكن لأي شركة تقنية تمتلك بعض القدرة التقنية أن تقوم ببناء نموذج كبير بنفسها.

لذلك، ذكر عالم الكمبيوتر أندرو نغ في محاضرته بجامعة ستانفورد نقطة: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، التعلم غير الخاضع للإشراف، التعلم المعزز، وأيضًا الذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عامة، مشابهة لتقنيات عامة أخرى مثل الكهرباء والإنترنت."

بالطبع لا تزال OpenAI هي الرائدة في مجال LLM، لكن وكالات تحليل أشباه الموصلات تعتقد أن قوة GPT-4 التنافسية تأتي من الحلول الهندسية - إذا كانت مفتوحة المصدر، يمكن لأي منافس أن يعيد إنتاجها بسرعة.

يتوقع هذا المحلل أنه قد لا يستغرق الأمر وقتًا طويلاً قبل أن تتمكن شركات التكنولوجيا الكبرى الأخرى من إنشاء نماذج كبيرة تعادل أداء GPT-4.

الخندق المبني على الزجاج

في الوقت الحاضر، لم تعد "معركة النماذج" مجرد أسلوب بلاغي، بل أصبحت واقعًا موضوعيًا.

تشير التقارير ذات الصلة إلى أنه حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة المحلية 130 نموذجًا، متجاوزة الولايات المتحدة التي تحتوي على 114 نموذجًا، مما يحقق نجاحًا في تخطي المنعطف، والأساطير المختلفة لم تعد كافية لتسمية الشركات التكنولوجية المحلية.

وفيما وراء الصين والولايات المتحدة، بدأت مجموعة من الدول الثرية الأخرى في تحقيق "نموذج لكل دولة" بشكل أولي: بالإضافة إلى اليابان والإمارات العربية المتحدة، هناك النموذج الكبير Bhashini الذي تقوده الحكومة الهندية، وHyperClova X الذي طورته شركة الإنترنت الكورية وغيرها.

يبدو أن هذا المشهد يعيدنا إلى تلك الحقبة التي كانت مليئة بالف泡沫، حيث كانت "قدرة النقود" تتنافس بشكل متزايد في عصر استكشاف الإنترنت.

كما ذُكر سابقًا، فإن Transformer جعل النماذج الكبيرة مسألة هندسية بحتة، طالما أن هناك من يملك المال وبطاقات الرسوم، فإن الباقي يمكن تركه للمعلمات. ولكن على الرغم من أن تذاكر الدخول ليست صعبة، إلا أنه لا يعني أن الجميع لديه الفرصة ليصبح BAT في عصر الذكاء الاصطناعي.

التي تم ذكرها في البداية "حرب الحيوانات" هي حالة نموذجية: على الرغم من أن Falcon يتفوق على Llama في الترتيب، إلا أنه من الصعب القول كم كانت تأثيراته على Meta.

من المعروف أن الشركات التي تفتح مصادر إنجازاتها البحثية تفعل ذلك ليس فقط لمشاركة فوائد التكنولوجيا مع الجمهور، ولكن أيضًا تأمل في تحفيز ذكاء الناس. مع استمرار استخدام وتحسين Llama من قبل أساتذة الجامعات، ومراكز الأبحاث، والشركات الصغيرة والمتوسطة، يمكن لـ Meta تطبيق هذه الإنجازات في منتجاتها.

بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن المجتمع النشط من المطورين هو القوة التنافسية الأساسية لها.

في عام 2015، عندما تم تأسيس مختبر الذكاء الاصطناعي، كانت ميتا قد حددت بالفعل النغمة الرئيسية للمصدر المفتوح؛ وزوكربيرغ، الذي أصبح ثريًا من خلال عمله في وسائل التواصل الاجتماعي، يعرف جيدًا كيفية "تحسين العلاقات مع الجمهور".

على سبيل المثال ، في أكتوبر ، نظمت ميتا حدث "تحفيز المبدعين بنسخة AI" خصيصًا: سيكون لدى المطورين الذين يستخدمون Llama 2 لحل المشكلات الاجتماعية مثل التعليم والبيئة فرصة للحصول على تمويل قدره 500000 دولار.

حتى يومنا هذا، أصبحت سلسلة Llama من Meta بمثابة مقياس للاتجاهات في LLM مفتوح المصدر.

حتى أوائل أكتوبر، كان هناك 8 من بين أفضل 10 في تصنيف LLM مفتوح المصدر مبنية على Llama 2، جميعها تستخدم بروتوكولها مفتوح المصدر. فقط على هذه المنصة، تجاوز عدد LLMs التي تستخدم بروتوكول Llama 2 المفتوح المصدر 1500.

بالطبع، من الممكن تحسين الأداء مثل Falcon، ولكن حتى اليوم، لا يزال لدى معظم نماذج LLM في السوق فارق أداء واضح مع GPT-4.

على سبيل المثال، في الأيام الماضية، حصل GPT-4 على المركز الأول في اختبار AgentBench بتقدير 4.41. تم إطلاق معيار AgentBench بالتعاون بين جامعة تسينغhua وجامعة ولاية أوهايو وجامعة كاليفورنيا، بيركلي، لتقييم قدرة LLM على الاستدلال واتخاذ القرار في بيئات متعددة الأبعاد مفتوحة التوليد، حيث تتضمن محتويات الاختبار مهام من ثمانية بيئات مختلفة مثل أنظمة التشغيل، قواعد البيانات، الرسوم البيانية المعرفية، ومعارك بطاقات.

أظهرت نتائج الاختبار أن Claude، الذي جاء في المركز الثاني، حصل فقط على 2.77 نقطة، ولا يزال الفارق واضحًا. أما بالنسبة لتلك النماذج مفتوحة المصدر ذات الضجيج الكبير، فإن نتائج اختباراتهم تتراوح عادةً حول نقطة واحدة، ولا تصل حتى إلى ربع نقاط GPT-4.

من المهم أن نعرف أن GPT-4 تم إصداره في مارس من هذا العام، وهذا هو إنجاز بعد أن قضى المنافسون العالميون أكثر من نصف عام في اللحاق به. والسبب في هذه الفجوة هو الفريق العلمي في OpenAI الذي يتمتع بكثافة "ذكاء" عالية للغاية والخبرة التي تراكمت على مدى سنوات من البحث في LLM، مما يسمح لهم بالبقاء في المقدمة باستمرار.

بمعنى آخر، القدرة الأساسية للنموذج الكبير ليست هي المعلمات، بل هي بناء النظام البيئي (المصدر المفتوح) أو القدرة على الاستدلال البحتة (المصدر المغلق).

مع تزايد نشاط المجتمع مفتوح المصدر، قد تتقارب أداءات نماذج اللغات الكبيرة (LLM) المختلفة، حيث يستخدم الجميع هياكل نماذج وبيانات مشابهة.

التحدي الأكثر وضوحًا هو: بخلاف Midjourney، يبدو أنه لا يوجد نموذج كبير آخر يمكنه كسب المال.

نقاط مرجعية للقيمة

في أغسطس من هذا العام، أثار مقال بعنوان "من المحتمل أن تفلس OpenAI بحلول نهاية عام 2024" الكثير من الاهتمام. يمكن تلخيص مضمون المقالة في جملة واحدة تقريبًا: سرعة إنفاق OpenAI كبيرة جدًا.

يذكر النص أنه منذ تطوير ChatGPT، تتسع خسائر OpenAI بسرعة، حيث خسرت حوالي 540 مليون دولار فقط في عام 2022، ولا يمكنها إلا الانتظار حتى يدفع المستثمرون من مايكروسوفت.

رغم أن عنوان المقال مثير للدهشة، إلا أنه يتحدث عن الوضع الحالي للعديد من مزودي النماذج الكبيرة: هناك عدم توازن خطير بين التكاليف والإيرادات.

التكاليف المرتفعة للغاية أدت إلى أن الشركات الوحيدة التي تحقق أرباحًا كبيرة من الذكاء الاصطناعي حاليًا هي إنفيديا، وربما أيضًا برودكوم.

وفقًا لتقديرات شركة استشارية، باعت إنفيديا أكثر من 300,000 وحدة من H100 في الربع الثاني من هذا العام. هذه شريحة ذكاء اصطناعي، وفعاليتها في تدريب الذكاء الاصطناعي عالية بشكل لا يُصدق، حيث تتسابق شركات التكنولوجيا والمؤسسات البحثية في جميع أنحاء العالم لشرائها. إذا تم تكديس الـ 300,000 وحدة المباعة من H100 معًا، فإن وزنها يعادل 4.5 طائرات بوينغ 747.

ارتفعت نتائج شركة إنفيديا بشكل كبير، حيث زاد الإيرادات بنسبة 854% على أساس سنوي، مما تسبب في دهشة وول ستريت. ومن الجدير بالذكر أن سعر H100 في سوق المستعمل قد ارتفع إلى 40-50 ألف دولار، في حين أن تكلفة المواد الخام لا تتجاوز 3000 دولار.

أصبحت تكلفة قوة الحوسبة المرتفعة إلى حد ما عائقًا أمام تطوير الصناعة. قامت شركة سيكويا كابيتال بعمل تقدير: من المتوقع أن تنفق شركات التكنولوجيا في جميع أنحاء العالم 200 مليار دولار سنويًا على بناء البنية التحتية للنماذج الكبيرة؛ بالمقارنة، يمكن أن تحقق النماذج الكبيرة دخلًا يصل إلى 75 مليار دولار سنويًا، مما يعني وجود فجوة لا تقل عن 125 مليار دولار.

علاوة على ذلك، باستثناء عدد قليل من الحالات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من التفكير بوضوح في كيفية تحقيق الأرباح بعد تكبدها تكاليف ضخمة. خاصة أن رائدي الصناعة - مايكروسوفت وأدوبي - يسيران بخطى متعثرة بعض الشيء.

تعاونت مايكروسوفت وOpenAI في تطوير أداة لتوليد الكود باستخدام الذكاء الاصطناعي تُدعى GitHub Copilot، وعلى الرغم من أن الرسوم الشهرية تبلغ 10 دولارات، إلا أن مايكروسوفت تخسر 20 دولارًا شهريًا بسبب تكاليف البنية التحتية، وحتى أن المستخدمين بكثافة يمكنهم أن يجعلوا مايكروسوفت تخسر 80 دولارًا شهريًا. وبناءً على ذلك، يمكن أن يتكبد Microsoft 365 Copilot، الذي تم تسعيره بـ 30 دولارًا، خسائر أكبر.

ليس من قبيل المصادفة أن شركة أدوبي، التي أصدرت للتو أداة Firefly AI، أطلقت بسرعة نظام نقاط موازٍ لمنع الاستخدام المفرط من قبل المستخدمين والذي قد يتسبب في خسائر للشركة. إذا استخدم أحد المستخدمين النقاط المخصصة له شهريًا، ستقوم أدوبي بتقليل سرعة الخدمة.

يجب أن نعلم أن مايكروسوفت وأدوبي هما بالفعل عملاقتان في مجال البرمجيات، حيث تمتلكان مشاهد عمل واضحة وعددًا كبيرًا من المستخدمين المدفوعين الجاهزين. بينما تعتمد معظم النماذج الكبيرة التي تحتوي على العديد من المعلمات على السماء، فإن أكبر استجابة...