تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى ثورة التقنية في التعاون اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلية. مقارنةً بعمليات الاستدلال الخفيفة، تتطلب عملية التدريب استثمارًا مستمرًا في القدرة الحاسوبية الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج البنية، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم التركيز عليه في هذه المقالة.

تعتبر عملية التدريب المركزية الطريقة التقليدية الأكثر شيوعًا، حيث يتم إكمال جميع عمليات التدريب بواسطة مؤسسة واحدة ضمن مجموعة محلية عالية الأداء، من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب يتم تنسيقها بواسطة نظام تحكم موحد. هذه البنية التحتية المتكاملة تعزز كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، مما يجعلها مثالية لتدريب النماذج الكبيرة مثل GPT وGemini، ولها مزايا الكفاءة العالية، وإمكانية التحكم في الموارد، ولكنها تعاني أيضًا من مشكلات مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.

التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ المتزامن، من أجل تجاوز قيود حساب وتخزين الآلة الواحدة. على الرغم من أنها تتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أنها لا تزال تخضع لسيطرة مركزية من قبل مؤسسة واحدة للتحكم في الجدولة والتزامن، وغالبًا ما تعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للاتصالات السريعة، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الطرق السائدة ما يلي:

• التوازي البيانات: كل عقدة تدرب معلمات بيانات مختلفة تتشارك في الوزن النموذجي، يجب أن تتطابق.
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية
• أنابيب متوازية: تنفيذ تسلسلي على مراحل، لزيادة معدل النقل
• توازي المصفوفات: تقسيم دقيق لحساب المصفوفات، لزيادة درجة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يشبه توجيه نفس المدير عن بُعد للموظفين في عدة "مكاتب" للتعاون في إنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.

تمثل تدريبات اللامركزية مسارًا مستقبليًا أكثر انفتاحًا وخصائص مناهضة للرقابة. تتميز هذه الخصائص الأساسية بما يلي: تتعاون عدة عقد غير موثوقة معًا لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستخدم آليات الحوافز المشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:

• صعوبة تباين الأجهزة وقطع المهام: صعوبة تنسيق الأجهزة المتنوعة، وانخفاض كفاءة تقسيم المهام
• عقبة كفاءة الاتصال: اتصالات الشبكة غير مستقرة، وعائق تزامن التدرج واضح
• فقدان التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب
• نقص التنسيق الموحد: لا يوجد منظم مركزي، توزيع المهام، آلية التراجع عن الاستثناءات معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي الكبير القابل للتطبيق" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق بهندسة النظام، وبروتوكولات الاتصال، وأمان التشفير، والآليات الاقتصادية، والتحقق من النموذج، وغيرها من المستويات المتعددة، لكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز الصدق + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.

تعتبر التعلم الفيدرالي شكلاً انتقالياً بين التوزيع و اللامركزية، حيث يؤكد على الاحتفاظ المحلي بالبيانات، وتجميع مركز لنماذج المعلمات، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتاز أيضًا بميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث يكون التدريب، وبنية الثقة، وآلية الاتصالات أكثر اعتدالًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.

جدول مقارنة شامل لنماذج تدريب الذكاء الاصطناعي ( الهيكل الفني × التحفيز القائم على الثقة × خصائص التطبيق )

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من حيث نموذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، وارتفاع متطلبات الموارد، أو صعوبة التعاون، فإنه بطبيعة الحال غير مناسب لإتمامه بكفاءة بين العقد غير المتجانسة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة وصول عشوائي عالية، وزمن تأخير منخفض، وعرض نطاق ترددي مرتفع، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة تخضع للقوانين والامتثال الأخلاقي، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي لا تحفز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، تظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام التي تتميز بالهيكل الخفيف، وسهولة التوازي، والتحفيز. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المرتبطة بمحاذاة السلوك، تدريب وتعليم البيانات المجمعة، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، ومشاهد التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص التوازي العالي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، والمُحسِّنات الموزعة.

نظرة عامة على ملاءمة مهام التدريب اللامركزية

تحليل المشاريع الكلاسيكية للتدريب اللامركزي

حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر طرق تنفيذ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، وستستكشف أيضًا الاختلافات والعلاقات التكميلية في نظام التدريب اللامركزي للذكاء الاصطناعي.

Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابل للتحقق من مسارات التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب للذكاء الاصطناعي لا تحتاج إلى ثقة، بحيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في بناء نظام تدريب للذكاء الاصطناعي يتمتع بالتحقق، والانفتاح، وآلية تحفيز كاملة.

أ. هيكل بروتوكول Prime Intellect وقيمة الوحدات الأساسية

ثانياً، شرح مفصل لآلية تدريب Prime Intellect الرئيسية

PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المنفصل

PRIME-RL هو إطار عمل لنمذجة وتنفيذ المهام مصمم بواسطة Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. إنه يعتمد على التعلم المعزز ككائن تكييف أولوي، مما يفصل هيكليًا عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنةً بعمليات التعلم الموجه التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئة بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.

TOPLOC: آلية التحقق من سلوك التدريب خفيفة الوزن

TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان العقدة قد أكملت فعليًا تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل "تسلسل المراقبة ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة، لإكمال التحقق الهيكلي الخفيف. للمرة الأولى، يقوم بتحويل مسارات السلوك خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهو الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا عمليًا لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن

SHARDCAST هو بروتوكول نشر وتجميع الوزن المصمم من قبل Prime Intellect، وهو مُحسَّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، قيود النطاق الترددي، وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجية التزام محلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يؤدي إلى التقارب التدريجي للوزن وتطورات متعددة النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يُحسِّن SHARDCAST بشكل ملحوظ من قابلية التوسع وقدرة التحمل في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتدريب متواصل.

OpenDiLoCo: إطار الاتصالات غير المتزامنة المتناثرة

OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحته DeepMind، مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكاليف الاتصالات العالية للتزامن العالمي، ويعتمد فقط على جيران العقد المحلية لإكمال تدريب النموذج التعاوني. بالجمع بين التحديث غير المتزامن وآلية تحمل الأخطاء، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

PCCL: مكتبة الاتصالات التعاونية

PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل اختناقات التكيف في المكتبات التقليدية على الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL الطوبولوجيا المتناثرة، ضغط التدرجات، التزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهي المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عززت بشكل كبير تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة من خلال تحسين "آخر كيلومتر" من البنية التحتية للاتصالات.

ثالثًا، شبكة Prime Intellect للتحفيز وتوزيع الأدوار

بني Prime Intellect شبكة تدريبية قابلة للتحقق، بدون إذن، تتمتع بآلية حوافز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاث فئات من الأدوار الأساسية:

• مُطلق المهمة: تحديد بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد تدريب: تنفيذ تدريب محلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".

الرابع، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق وغير مركزي

أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز يتم تدريبه بواسطة عقد لامركزية غير موثوقة وعبر أسلوب غير متزامن، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متغايرة موزعة عبر ثلاثة قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. هذا النموذج ليس فقط إنجازًا في الأداء، بل هو أيضًا التطبيق النظامي الأول لمفهوم "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2