الكأس المقدس للذكاء الاصطناعي في التشفير: استكشاف المقدمة للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد، والأعلى في متطلبات التكنولوجيا، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. مقارنةً بالاستدلال الخفيف في المرحلة، يتطلب عملية التدريب استثمارًا مستمرًا في قوة حسابية كبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء نظام الذكاء الاصطناعي. من منظور نماذج الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيناقش في هذه المقالة.
تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم إجراء جميع عمليات التدريب من قبل مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، حيث يتم تنسيق جميع مكونات التدريب، من الأجهزة والبرمجيات الأساسية ونظام جدولة المجموعات، إلى إطار التدريب بواسطة نظام تحكم موحد. هذه البنية التحتية المتكاملة تجعل من كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء في أفضل حالاتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، حيث تتمتع بكفاءة عالية وموارد قابلة للتحكم، ولكنها في نفس الوقت تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بالتعاون، بهدف تجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من أن لديها خصائص "موزعة" من الناحية الفيزيائية، إلا أن النظام الكلي لا يزال تحت سيطرة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink للربط السريع، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية.
توازي البيانات: يقوم كل عقدة بتدريب معلمات بيانات مختلفة مع مشاركة الوزن النموذجي، ويجب مطابقة أوزان النموذج.
التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع القوية
تنفيذ متسلسل على مراحل: تحسين معدل النقل
توازي المصفوفات: تقطيع دقيق لحساب المصفوفات، مما يعزز من دقة التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يشبه توجيه نفس المدير لمجموعة من الموظفين في "مكاتب" متعددة للتعاون في إكمال المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
اللامركزية التدريب تمثل مساراً مستقبلياً أكثر انفتاحاً ومقاومةً للرقابة. تتمثل ميزته الأساسية في: عدة عقد غير موثوقة تتعاون لإكمال مهام التدريب دون منسق مركزي، وعادة ما يتم ذلك من خلال بروتوكول يدفع توزيع المهام والتعاون، ويعتمد على آلية تحفيز مشفرة لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:
صعوبة التوافق بين الأجهزة وتجزئة المهام: صعوبة تنسيق الأجهزة المتنوعة، وكفاءة تجزئة المهام منخفضة
عائق كفاءة الاتصال: اتصال الشبكة غير مستقر، وظهور واضح لعائق مزامنة التدرج
غياب التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك بالفعل في الحساب.
عدم وجود تنسيق موحد: لا يوجد منسق مركزي، توزيع المهام، وآلية التراجع عن الأخطاء معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، ولكن ما إذا كان من الممكن "التعاون بفعالية + تحفيز الأمانة + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.
تعتبر التعلم الفيدرالي شكلاً انتقالياً بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا ميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المُحكمة" في سيناريوهات الامتثال للخصوصية، حيث يكون في مهمة التدريب، وبنية الثقة، وآلية الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من منظور نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب التعقيد الهيكلي للمهام، أو الحاجة الكبيرة للموارد، أو صعوبة التعاون، فإنه بطبيعته لا يناسب إكماله بكفاءة بين العقد غير المتجانسة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بشكل فعال في الشبكات المفتوحة؛ وتكون المهام التي تتعلق بسرية البيانات والقيود السيادية مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى دافع خارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، في أنواع المهام الخفيفة التركيب، سهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام التدريب بعد التوافق السلوكي، تدريب البيانات المجمعة والتعليقات، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية من التوازي، وانخفاض الارتباط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة.
تحليل مشاريع التدريب الكلاسيكية اللامركزية
حاليًا في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع البارزة في مجال البلوكشين Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ الخاصة بـ Gensyn وFlock.io واضحة نسبيًا، وقد تم رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، واستكشاف الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابلة للتحقق من مسار التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI لا تحتاج إلى ثقة، بحيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، المفتوح، والمجهز بآلية تحفيز من خلال ثلاثة مكونات رئيسية: PRIME-RL + TOPLOC + SHARDCAST.
01، هيكل بروتوكول Prime Intellect والميزات القيمة للوحدات الرئيسية
02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكوك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من قبل Prime Intellect لسيناريوهات التدريب اللامركزية ، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز ككائن تكييف أولوي ، ويفصل هيكليًا عملية التدريب والاستدلال وتحميل الأوزان ، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا ، والتعاون من خلال واجهات قياسية وآليات التحقق والتجميع. مقارنة بعمليات التعلم الإشرافي التقليدية ، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية ، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة المتوازية وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان العقدة قد أكملت فعلاً تعلم استراتيجية فعالة استنادًا إلى بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل "تسلسل المراقبة ↔ تحديث الاستراتيجية" بين مسارات التناسق المحلي. إنها تحول للمرة الأولى المسارات السلوكية خلال عملية التدريب إلى كائنات يمكن التحقق منها، مما يمثل ابتكارًا رئيسيًا لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، ويوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع وزن غير متزامن ونشره
SHARDCAST هو بروتوكول نشر وتجمع الوزن الذي صممه Prime Intellect، مصمم خصيصًا لبيئات الشبكة الحقيقية التي تعاني من اللامركزية، وقيود النطاق الترددي، وحالة العقد المتغيرة. يجمع بين آلية نشر gossip واستراتيجية التزام محلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطور متعدد النسخ. مقارنة بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل كبير من قابلية التوسع ومرونة التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتكرار المستمر للتدريب.
#OpenDiLoCo:إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار تحسين اتصالات تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصالات العالمية، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل مشترك. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط الخلل، يسمح OpenDiLoCo لمجموعات GPU من فئة المستهلك والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير من إمكانية المشاركة في التدريب التعاوني العالمي، ويُعتبر أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف لمكتبات الاتصالات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن بدقة منخفضة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم القدرة على الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من قدرة تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة وموثوقة.
03، شبكة تحفيز Prime Intellect وتقسيم الأدوار
بنيت Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، مزودة بآلية الحوافز الاقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. تعمل البروتوكولات استنادًا إلى ثلاث فئات من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات الملاحظة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تتضمن العمليات الأساسية للبروتوكول نشر المهام، وتدريب العقد، والتحقق من المسارات، وتجميع الأوزان، وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
04، INTELLECT-2: إطلاق أول نموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة. يبلغ حجم المعلمات 32B. تم تدريب نموذج INTELLECT-2 بالتعاون بين أكثر من 100 عقدة GPU غير متجانسة موجودة في ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يتكامل INTELLECT-2 مع بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يمثل إنجازًا لأول مرة في شبكة التدريب اللامركزية.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 4
أعجبني
4
4
إعادة النشر
مشاركة
تعليق
0/400
AirdropHarvester
· منذ 7 س
التدريب يجب أن يتضمن توزيع مجاني!
شاهد النسخة الأصليةرد0
RugDocScientist
· منذ 7 س
الحديث بصراحة، فإن قوة الحوسبة هي المشكلة الكبيرة...
اللامركزية AI تدريب في المقدمة: Prime Intellect و Pluralis يقودان نموذج جديد في الصناعة
الكأس المقدس للذكاء الاصطناعي في التشفير: استكشاف المقدمة للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد، والأعلى في متطلبات التكنولوجيا، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. مقارنةً بالاستدلال الخفيف في المرحلة، يتطلب عملية التدريب استثمارًا مستمرًا في قوة حسابية كبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء نظام الذكاء الاصطناعي. من منظور نماذج الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيناقش في هذه المقالة.
تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم إجراء جميع عمليات التدريب من قبل مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، حيث يتم تنسيق جميع مكونات التدريب، من الأجهزة والبرمجيات الأساسية ونظام جدولة المجموعات، إلى إطار التدريب بواسطة نظام تحكم موحد. هذه البنية التحتية المتكاملة تجعل من كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء في أفضل حالاتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، حيث تتمتع بكفاءة عالية وموارد قابلة للتحكم، ولكنها في نفس الوقت تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بالتعاون، بهدف تجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من أن لديها خصائص "موزعة" من الناحية الفيزيائية، إلا أن النظام الكلي لا يزال تحت سيطرة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink للربط السريع، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية.
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يشبه توجيه نفس المدير لمجموعة من الموظفين في "مكاتب" متعددة للتعاون في إكمال المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
اللامركزية التدريب تمثل مساراً مستقبلياً أكثر انفتاحاً ومقاومةً للرقابة. تتمثل ميزته الأساسية في: عدة عقد غير موثوقة تتعاون لإكمال مهام التدريب دون منسق مركزي، وعادة ما يتم ذلك من خلال بروتوكول يدفع توزيع المهام والتعاون، ويعتمد على آلية تحفيز مشفرة لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، ولكن ما إذا كان من الممكن "التعاون بفعالية + تحفيز الأمانة + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.
تعتبر التعلم الفيدرالي شكلاً انتقالياً بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا ميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المُحكمة" في سيناريوهات الامتثال للخصوصية، حيث يكون في مهمة التدريب، وبنية الثقة، وآلية الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من منظور نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب التعقيد الهيكلي للمهام، أو الحاجة الكبيرة للموارد، أو صعوبة التعاون، فإنه بطبيعته لا يناسب إكماله بكفاءة بين العقد غير المتجانسة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بشكل فعال في الشبكات المفتوحة؛ وتكون المهام التي تتعلق بسرية البيانات والقيود السيادية مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى دافع خارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، في أنواع المهام الخفيفة التركيب، سهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام التدريب بعد التوافق السلوكي، تدريب البيانات المجمعة والتعليقات، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية من التوازي، وانخفاض الارتباط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة.
تحليل مشاريع التدريب الكلاسيكية اللامركزية
حاليًا في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع البارزة في مجال البلوكشين Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ الخاصة بـ Gensyn وFlock.io واضحة نسبيًا، وقد تم رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة بالتتابع، واستكشاف الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابلة للتحقق من مسار التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI لا تحتاج إلى ثقة، بحيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، المفتوح، والمجهز بآلية تحفيز من خلال ثلاثة مكونات رئيسية: PRIME-RL + TOPLOC + SHARDCAST.
01، هيكل بروتوكول Prime Intellect والميزات القيمة للوحدات الرئيسية
02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكوك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من قبل Prime Intellect لسيناريوهات التدريب اللامركزية ، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز ككائن تكييف أولوي ، ويفصل هيكليًا عملية التدريب والاستدلال وتحميل الأوزان ، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا ، والتعاون من خلال واجهات قياسية وآليات التحقق والتجميع. مقارنة بعمليات التعلم الإشرافي التقليدية ، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية ، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة المتوازية وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان العقدة قد أكملت فعلاً تعلم استراتيجية فعالة استنادًا إلى بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل "تسلسل المراقبة ↔ تحديث الاستراتيجية" بين مسارات التناسق المحلي. إنها تحول للمرة الأولى المسارات السلوكية خلال عملية التدريب إلى كائنات يمكن التحقق منها، مما يمثل ابتكارًا رئيسيًا لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، ويوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع وزن غير متزامن ونشره
SHARDCAST هو بروتوكول نشر وتجمع الوزن الذي صممه Prime Intellect، مصمم خصيصًا لبيئات الشبكة الحقيقية التي تعاني من اللامركزية، وقيود النطاق الترددي، وحالة العقد المتغيرة. يجمع بين آلية نشر gossip واستراتيجية التزام محلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطور متعدد النسخ. مقارنة بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل كبير من قابلية التوسع ومرونة التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتكرار المستمر للتدريب.
#OpenDiLoCo:إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار تحسين اتصالات تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصالات العالمية، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل مشترك. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط الخلل، يسمح OpenDiLoCo لمجموعات GPU من فئة المستهلك والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير من إمكانية المشاركة في التدريب التعاوني العالمي، ويُعتبر أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف لمكتبات الاتصالات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن بدقة منخفضة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم القدرة على الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من قدرة تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة وموثوقة.
03، شبكة تحفيز Prime Intellect وتقسيم الأدوار
بنيت Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، مزودة بآلية الحوافز الاقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. تعمل البروتوكولات استنادًا إلى ثلاث فئات من الأدوار الأساسية:
تتضمن العمليات الأساسية للبروتوكول نشر المهام، وتدريب العقد، والتحقق من المسارات، وتجميع الأوزان، وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
04، INTELLECT-2: إطلاق أول نموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة. يبلغ حجم المعلمات 32B. تم تدريب نموذج INTELLECT-2 بالتعاون بين أكثر من 100 عقدة GPU غير متجانسة موجودة في ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يتكامل INTELLECT-2 مع بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يمثل إنجازًا لأول مرة في شبكة التدريب اللامركزية.