Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация и совместной технологии революции
В полной цепочке ценностей ИИ обучение моделей является наиболее ресурсоемким и высокотехнологичным этапом, который напрямую определяет пределы возможностей модели и эффективность её практического применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.
Централизованное обучение — это наиболее распространенный традиционный способ, при котором единая организация завершает весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, систем управления кластером до всех компонентов обучающей среды, которые координируются единой системой управления. Эта глубоко скоординированная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT и Gemini, с высокой эффективностью и управляемыми ресурсами, но одновременно существует ряд проблем, таких как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на наличие "Децентрализация" в физическом плане, в целом управление, планирование и синхронизация по-прежнему контролируются централизованными организациями, и часто осуществляется в среде высокоскоростной локальной сети, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо соответствовать весам модели
Модельная параллельность: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллельные каналы: последовательное выполнение по этапам, повышение пропускной способности;
Тензорное параллелизм: детализированное разделение матричных вычислений, повышение степени параллелизма.
Распределённое обучение является комбинацией "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же босс дистанционно управляет сотрудничеством сотрудников из нескольких "офисов" для выполнения задач. В настоящее время почти все основные крупные модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевые характеристики заключаются в следующем: множество взаимно недоверяющих узлов (возможно, домашних компьютеров, облачных GPU или периферийных устройств) совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, которые управляют распределением задач и сотрудничеством, и с использованием механизмов криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность оборудования и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Бутылочное горлышко эффективности связи: нестабильная сеть связи, очевидное бутылочное горлышко синхронизации градиентов;
Недостаток доверенного исполнения: отсутствие доверенной исполняемой среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: отсутствие центрального диспетчера, сложная система распределения задач и механизм отката при сбоях.
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно жизнеспособная масштабируемая децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, безопасность криптографии, экономические механизмы, валидация модели и т.д., но возможность "совместной эффективности + стимулирования честности + корректности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных, централизованную агрегацию параметров модели, подходит для сценариев, ориентированных на соблюдение конфиденциальности (таких как медицина, финансы). Федеративное обучение имеет инженерную структуру распределенного обучения и локальные кооперативные способности, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антикризисными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения обучающих парадигм, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или высокой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет (например, в области медицины, финансов, конфиденциальных данных) ограничены юридическими требованиями и этическими нормами, не могут быть открыто поделены; а задачи, которые не имеют основы для сотрудничества (например, закрытые модели компаний или внутреннее обучение прототипов), лишены внешнего стимула для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализации обучения.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в типах задач, которые имеют легкую структуру, легко параллелятся и могут быть стимулированы, Децентрализация обучения показывает явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи постобучения, связанные с поведением (такие как RLHF, DPO), задачи обучения и аннотирования данных с краудсорсингом, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время среди представительных проектов блокчейна в области Децентрализация обучения и федеративного обучения можно выделить Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической новизны и сложности инженерной реализации Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как Gensyn и Flock.io имеют относительно ясные пути реализации, уже можно увидеть первоначальные успехи в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные структуры, стоящие за этими пятью проектами, а также будет обсуждено их различие и взаимодополнение в системе Децентрализация AI обучения.
Prime Intellect: пионер кооперативных сетей с подкрепляющим обучением и проверяемыми траекториями обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, в которую может участвовать любой желающий и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect хочет построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Одна, Структура стека протоколов Prime Intellect и ценность ключевых модулей
Два, детальное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разъединением
PRIME-RL — это фреймворк моделирования и исполнения задач, разработанный Prime Intellect для Децентрализация тренировочных сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует усиленное обучение в качестве приоритетного адаптивного объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо выполнять цикл задач локально и координироваться через стандартизированные интерфейсы с механизмами верификации и агрегации. В отличие от традиционных процессов контролируемого обучения, PRIME-RL более подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: легковесный механизм верификации поведения обучения
TOPLOC (Trusted Observation & Policy-Locality Check) — это основный механизм проверки обучаемости, предложенный Prime Intellect, который используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а вместо этого выполняет легковесную структурную проверку, анализируя локальные согласованные траектории между "наблюдательными последовательностями ↔ обновлением стратегии". Он впервые преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым новшеством для достижения распределения вознаграждений за обучение без доверия, предоставляя осуществимый путь для создания аудируемой и стимулируемой Децентрализация сети совместного обучения.
SHARDCAST: Протокол асинхронной агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации веса, разработанный Prime Intellect, оптимизированный специально для асинхронных, с ограниченной пропускной способностью и с переменным состоянием узлов реальных сетевых условий. Он сочетает механизмы распространения gossip и локальные синхронные стратегии, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весу и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной среды, созданной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Ее архитектура основана на параллельной обработке данных, и путем построения разреженных топологических структур, таких как Ring, Expander и Small-World, она избегает высоких затрат на глобальную синхронизацию и позволяет выполнять совместное обучение модели, полагаясь только на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и устройствам на краю сети стабильно участвовать в задачах обучения, что значительно повышает доступность глобального кооперативного обучения и является одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL: Библиотека совместной связи
PCCL (Prime Collective Communication Library) — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения узких мест адаптации традиционных библиотек связи (таких как NCCL, Gloo) в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является базовым компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной основы для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, сети Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешения, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определить тренировочную среду, начальную модель, функцию вознаграждения и критерии валидации
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.
Основные процессы протокола включают в себя публикацию задач, обучение узлов, валидацию траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: Выпуск первой проверяемой децентрализованной модели обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронного, не требующего доверия Децентрализация узлов. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронного подхода.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
13 Лайков
Награда
13
3
Репост
Поделиться
комментарий
0/400
MetaMisfit
· 4ч назад
ИИ, похоже, собирается изменить собственную судьбу.
Посмотреть ОригиналОтветить0
DYORMaster
· 4ч назад
Монополия крупных компаний действительно вызывает головную боль.
Посмотреть ОригиналОтветить0
GweiObserver
· 4ч назад
Монополия гигантов снова затягивает Децентрализацию.
Революция в парадигме тренировки ИИ: от централизованного контроля к Децентрализация сотрудничеству
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация и совместной технологии революции
В полной цепочке ценностей ИИ обучение моделей является наиболее ресурсоемким и высокотехнологичным этапом, который напрямую определяет пределы возможностей модели и эффективность её практического применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.
Централизованное обучение — это наиболее распространенный традиционный способ, при котором единая организация завершает весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, систем управления кластером до всех компонентов обучающей среды, которые координируются единой системой управления. Эта глубоко скоординированная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT и Gemini, с высокой эффективностью и управляемыми ресурсами, но одновременно существует ряд проблем, таких как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на наличие "Децентрализация" в физическом плане, в целом управление, планирование и синхронизация по-прежнему контролируются централизованными организациями, и часто осуществляется в среде высокоскоростной локальной сети, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределённое обучение является комбинацией "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же босс дистанционно управляет сотрудничеством сотрудников из нескольких "офисов" для выполнения задач. В настоящее время почти все основные крупные модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевые характеристики заключаются в следующем: множество взаимно недоверяющих узлов (возможно, домашних компьютеров, облачных GPU или периферийных устройств) совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, которые управляют распределением задач и сотрудничеством, и с использованием механизмов криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно жизнеспособная масштабируемая децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, безопасность криптографии, экономические механизмы, валидация модели и т.д., но возможность "совместной эффективности + стимулирования честности + корректности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных, централизованную агрегацию параметров модели, подходит для сценариев, ориентированных на соблюдение конфиденциальности (таких как медицина, финансы). Федеративное обучение имеет инженерную структуру распределенного обучения и локальные кооперативные способности, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антикризисными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения обучающих парадигм, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или высокой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет (например, в области медицины, финансов, конфиденциальных данных) ограничены юридическими требованиями и этическими нормами, не могут быть открыто поделены; а задачи, которые не имеют основы для сотрудничества (например, закрытые модели компаний или внутреннее обучение прототипов), лишены внешнего стимула для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализации обучения.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в типах задач, которые имеют легкую структуру, легко параллелятся и могут быть стимулированы, Децентрализация обучения показывает явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи постобучения, связанные с поведением (такие как RLHF, DPO), задачи обучения и аннотирования данных с краудсорсингом, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время среди представительных проектов блокчейна в области Децентрализация обучения и федеративного обучения можно выделить Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической новизны и сложности инженерной реализации Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как Gensyn и Flock.io имеют относительно ясные пути реализации, уже можно увидеть первоначальные успехи в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные структуры, стоящие за этими пятью проектами, а также будет обсуждено их различие и взаимодополнение в системе Децентрализация AI обучения.
Prime Intellect: пионер кооперативных сетей с подкрепляющим обучением и проверяемыми траекториями обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, в которую может участвовать любой желающий и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect хочет построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Одна, Структура стека протоколов Prime Intellect и ценность ключевых модулей
Два, детальное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с разъединением
PRIME-RL — это фреймворк моделирования и исполнения задач, разработанный Prime Intellect для Децентрализация тренировочных сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует усиленное обучение в качестве приоритетного адаптивного объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо выполнять цикл задач локально и координироваться через стандартизированные интерфейсы с механизмами верификации и агрегации. В отличие от традиционных процессов контролируемого обучения, PRIME-RL более подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: легковесный механизм верификации поведения обучения
TOPLOC (Trusted Observation & Policy-Locality Check) — это основный механизм проверки обучаемости, предложенный Prime Intellect, который используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а вместо этого выполняет легковесную структурную проверку, анализируя локальные согласованные траектории между "наблюдательными последовательностями ↔ обновлением стратегии". Он впервые преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым новшеством для достижения распределения вознаграждений за обучение без доверия, предоставляя осуществимый путь для создания аудируемой и стимулируемой Децентрализация сети совместного обучения.
SHARDCAST: Протокол асинхронной агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации веса, разработанный Prime Intellect, оптимизированный специально для асинхронных, с ограниченной пропускной способностью и с переменным состоянием узлов реальных сетевых условий. Он сочетает механизмы распространения gossip и локальные синхронные стратегии, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весу и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной среды, созданной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Ее архитектура основана на параллельной обработке данных, и путем построения разреженных топологических структур, таких как Ring, Expander и Small-World, она избегает высоких затрат на глобальную синхронизацию и позволяет выполнять совместное обучение модели, полагаясь только на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и устройствам на краю сети стабильно участвовать в задачах обучения, что значительно повышает доступность глобального кооперативного обучения и является одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL: Библиотека совместной связи
PCCL (Prime Collective Communication Library) — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения узких мест адаптации традиционных библиотек связи (таких как NCCL, Gloo) в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является базовым компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной основы для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, сети Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешения, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, валидацию траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: Выпуск первой проверяемой децентрализованной модели обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронного, не требующего доверия Децентрализация узлов. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронного подхода.