Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания ценности ИИ тренировка моделей является этапом с наибольшим потреблением ресурсов и наивысшими техническими барьерами, что напрямую определяет предельные возможности модели и ее фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс тренировки требует постоянных вложений в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в строительстве систем ИИ. С точки зрения архитектурных парадигм, методы тренировки можно разделить на четыре категории: централизованная тренировка, распределенная тренировка, федеративное обучение и децентрализованная тренировка, на которой мы сосредоточимся в этой статье.
Централизованное обучение — это наиболее распространенный традиционный способ, при котором одна организация выполняет весь процесс обучения в локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения низкого уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта глубоко координированная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и управляемости ресурсов, но при этом существует ряд проблем, таких как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на то, что в физическом плане он имеет "Децентрализация" характеристику, в целом им по-прежнему управляет централизованная организация, контролирующая распределение и синхронизацию. Обычно он работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной взаимосвязи NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Параллелизм данных: каждый узел обучает разные данные, параметры делятся, необходимо совпадение весов модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллельное вычисление: тонкая сегментация матричных вычислений, повышение степени параллелизма
Распределенное обучение — это комбинация «централизованного управления + распределенного выполнения», аналогично тому, как один и тот же начальник удаленно управляет сотрудничеством нескольких сотрудников «офисов» для выполнения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая характеристика заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, и с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности с их разделением: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Узкие места в эффективности связи: нестабильная сетевое соединение, явные узкие места в синхронизации градиентов
Отсутствие доверительного выполнения: отсутствие доверительной вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: нет центрального диспетчера, сложные механизмы распределения задач и отката при ошибках.
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "реально осуществимая крупномасштабная децентрализованная тренировка" все еще представляет собой системную инженерную задачу, затрагивающую архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию модели и другие аспекты, но возможность "совместного действия + стимуляция честности + правильные результаты" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностью локального сотрудничества, при этом оно также имеет преимущества распределенных данных в Децентрализация, но по-прежнему зависит от надежной координационной стороны и не обладает полностью открытыми и антикритическими характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленного применения.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, очень высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, доверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает невозможным открытое совместное использование; а задачи, которые не имеют основы для сотрудничества, лишены внешнего стимула для участия. Эти границы совместно составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, которые легко параллелизовать и могут быть поощрены, Децентрализация обучения демонстрирует очевидные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послеобучения, связанные с выравниванием поведения, задачи обучения и аннотирования с краудсорсингом данных, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенным вычислительным мощностям, что делает их очень подходящими для совместного обучения через P2P сеть, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировочных классических проектов
В настоящее время в области децентрализованного обучения и федеративного обучения среди представительных блокчейн-проектов основными являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и алгоритмного дизайна, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть предварительные инженерные достижения. В данной статье будут последовательно проанализированы основные технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно обсуждено их различие и взаимодополняемость в системе децентрализованного AI-обучения.
Prime Intellect: Проверяемые траектории обучения в совместных сетях усиленного обучения пионера
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разъединением
PRIME-RL является фреймворком для моделирования задач и их выполнения, специально разработанным Prime Intellect для Децентрализация тренировочных сценариев, предназначенным для гетерогенных сетей и асинхронных участников. Он использует обучение с подкреплением в качестве приоритетного адаптируемого объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо выполнять циклы задач локально и взаимодействовать с механизмами проверки и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения тренировки
TOPLOC — это основная механика проверки, предложенная Prime Intellect, которая используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а анализирует локальные консистентные траектории между "наблюдательными последовательностями ↔ обновлением стратегии", чтобы завершить верификацию легковесной структуры. Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для достижения распределения наград за обучение без необходимости доверия, и предоставляет жизнеспособный путь для создания可审计、可激励的 Децентрализация合作训练网络.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что приводит к постепенному сходимости весов и многовариантной эволюции. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo — это оптимизированная коммуникационная структура, независимая и открытая, разработанная командой Prime Intellect на основе идеи DiLoCo, предложенной DeepMind. Она специально создана для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе Децентрализации обучения. Ее архитектура основана на параллельной обработке данных, посредством построения разреженных топологических структур, таких как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию от глобальной синхронизации и завершить совместное обучение модели, полагаясь только на локальных соседей. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального сотрудничества в обучении и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализации обучения.
#PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает устойчивость сети к пропускной способности и совместимость устройств, пролагая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал сеть обучения, которая не требует разрешения, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех категорий основных ролей:
Инициатор задачи: определяет среду обучения, начальную модель, функцию вознаграждения и критерии валидации
Узел для обучения: выполняет локальное обучение, отправляет обновления весов и наблюдаемые траектории
Узлы проверки: использование механизма TOPLOC для проверки подлинности поведения обучения и участие в расчетах вознаграждений и агрегации стратегий.
Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегирование весов и распределение вознаграждений, что формирует замкнутый цикл стимулов вокруг "реального обучающего поведения".
04、INTELLECT-2:Первая проверяемая децентрализованная модель обучения.
В мае 2025 года Prime Intellect выпустил INTELLECT-2, который стал первым в мире крупным языковым моделью глубокого обучения, обученной с использованием асинхронных, не требующих доверия, Децентрализация-узлов. Размер параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трёх континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что продемонстрировало осуществимость и стабильность асинхронной кооперативной сети. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение Децентрализация-сети обучения.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
5 Лайков
Награда
5
4
Репост
Поделиться
комментарий
0/400
AirdropHarvester
· 13ч назад
Тренировка тоже должна включать Аирдроп!
Посмотреть ОригиналОтветить0
RugDocScientist
· 13ч назад
Говоря по правде, проблема вычислительной мощности — это серьезный недостаток...
Посмотреть ОригиналОтветить0
MeaninglessApe
· 13ч назад
Слишком дорого, не могу себе позволить
Посмотреть ОригиналОтветить0
MetaverseLandlady
· 13ч назад
Кто сможет справиться с таким сложным тренировочным курсом?
Децентрализация AI тренировки на переднем крае: Prime Intellect и Pluralis ведут новую парадигму в отрасли
Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания ценности ИИ тренировка моделей является этапом с наибольшим потреблением ресурсов и наивысшими техническими барьерами, что напрямую определяет предельные возможности модели и ее фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс тренировки требует постоянных вложений в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в строительстве систем ИИ. С точки зрения архитектурных парадигм, методы тренировки можно разделить на четыре категории: централизованная тренировка, распределенная тренировка, федеративное обучение и децентрализованная тренировка, на которой мы сосредоточимся в этой статье.
Централизованное обучение — это наиболее распространенный традиционный способ, при котором одна организация выполняет весь процесс обучения в локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения низкого уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта глубоко координированная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и управляемости ресурсов, но при этом существует ряд проблем, таких как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на то, что в физическом плане он имеет "Децентрализация" характеристику, в целом им по-прежнему управляет централизованная организация, контролирующая распределение и синхронизацию. Обычно он работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной взаимосвязи NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Распределенное обучение — это комбинация «централизованного управления + распределенного выполнения», аналогично тому, как один и тот же начальник удаленно управляет сотрудничеством нескольких сотрудников «офисов» для выполнения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая характеристика заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, и с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "реально осуществимая крупномасштабная децентрализованная тренировка" все еще представляет собой системную инженерную задачу, затрагивающую архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию модели и другие аспекты, но возможность "совместного действия + стимуляция честности + правильные результаты" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностью локального сотрудничества, при этом оно также имеет преимущества распределенных данных в Децентрализация, но по-прежнему зависит от надежной координационной стороны и не обладает полностью открытыми и антикритическими характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленного применения.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, очень высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, доверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает невозможным открытое совместное использование; а задачи, которые не имеют основы для сотрудничества, лишены внешнего стимула для участия. Эти границы совместно составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, которые легко параллелизовать и могут быть поощрены, Децентрализация обучения демонстрирует очевидные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послеобучения, связанные с выравниванием поведения, задачи обучения и аннотирования с краудсорсингом данных, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенным вычислительным мощностям, что делает их очень подходящими для совместного обучения через P2P сеть, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировочных классических проектов
В настоящее время в области децентрализованного обучения и федеративного обучения среди представительных блокчейн-проектов основными являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и алгоритмного дизайна, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть предварительные инженерные достижения. В данной статье будут последовательно проанализированы основные технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно обсуждено их различие и взаимодополняемость в системе децентрализованного AI-обучения.
Prime Intellect: Проверяемые траектории обучения в совместных сетях усиленного обучения пионера
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разъединением
PRIME-RL является фреймворком для моделирования задач и их выполнения, специально разработанным Prime Intellect для Децентрализация тренировочных сценариев, предназначенным для гетерогенных сетей и асинхронных участников. Он использует обучение с подкреплением в качестве приоритетного адаптируемого объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо выполнять циклы задач локально и взаимодействовать с механизмами проверки и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения тренировки
TOPLOC — это основная механика проверки, предложенная Prime Intellect, которая используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а анализирует локальные консистентные траектории между "наблюдательными последовательностями ↔ обновлением стратегии", чтобы завершить верификацию легковесной структуры. Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для достижения распределения наград за обучение без необходимости доверия, и предоставляет жизнеспособный путь для создания可审计、可激励的 Децентрализация合作训练网络.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что приводит к постепенному сходимости весов и многовариантной эволюции. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная рамка
OpenDiLoCo — это оптимизированная коммуникационная структура, независимая и открытая, разработанная командой Prime Intellect на основе идеи DiLoCo, предложенной DeepMind. Она специально создана для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе Децентрализации обучения. Ее архитектура основана на параллельной обработке данных, посредством построения разреженных топологических структур, таких как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию от глобальной синхронизации и завершить совместное обучение модели, полагаясь только на локальных соседей. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального сотрудничества в обучении и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализации обучения.
#PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает устойчивость сети к пропускной способности и совместимость устройств, пролагая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал сеть обучения, которая не требует разрешения, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех категорий основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегирование весов и распределение вознаграждений, что формирует замкнутый цикл стимулов вокруг "реального обучающего поведения".
04、INTELLECT-2:Первая проверяемая децентрализованная модель обучения.
В мае 2025 года Prime Intellect выпустил INTELLECT-2, который стал первым в мире крупным языковым моделью глубокого обучения, обученной с использованием асинхронных, не требующих доверия, Децентрализация-узлов. Размер параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трёх континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что продемонстрировало осуществимость и стабильность асинхронной кооперативной сети. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение как консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение Децентрализация-сети обучения.