Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У повному ланцюжку вартості AI, навчання моделей є етапом з найбільшими витратами ресурсів і найвищими технічними вимогами, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. В порівнянні зі стадією висновку, яка є легковаговою, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних та інтенсивної підтримки алгоритмів оптимізації, що є справжньою "важкою промисловістю" у будівництві AI-систем. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиним агентом у локальному високопродуктивному кластері, охоплюючи всі етапи навчання – від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки, всі вони координуються єдиною системою управління. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT, Gemini тощо, з перевагами високої ефективності та контрольованих ресурсів, але в той же час має проблеми з монополією даних, бар'єрами для ресурсів, споживанням енергії та ризиком єдиного пункту.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин, які виконують їх спільно, щоб подолати обмеження обчислення та зберігання на одному комп'ютері. Хоча фізично має "розподілені" характеристики, але в цілому все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі високошвидкісних локальних мереж, через технологію високошвидкісної зв'язку NVLink, головний вузол координує всі підзадачі. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри спільні, потрібно узгодити ваги моделі
Паралельне моделювання: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельні канали: поетапне серійне виконання, підвищення пропускної здатності
Паралелізм тензорів: детальне розбиття матричних обчислень, підвищення паралельної гранулярності
Розподілене навчання є комбінацією «централізованого контролю + розподіленого виконання», аналогічно тому, як один і той же керівник дистанційно командує кількома «офісними» співробітниками для спільного виконання завдання. Наразі майже всі основні великі моделі навчаються саме цим способом.
Децентралізоване навчання означає більш відкритий та антикризовий шлях у майбутньому. Його основною характеристикою є: кілька ненадійних вузлів спільно виконують навчальні завдання без централізованого координатора, зазвичай за допомогою протоколу, що керує розподілом завдань та співпрацею, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та складність розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, явне вузьке місце в синхронізації градієнтів
Відсутність довірчого виконання: відсутність довірчого середовища виконання, важко перевірити, чи дійсно вузол бере участь у обчисленнях.
Відсутність єдиного координаційного центру: немає центрального диспетчера, механізм розподілу завдань та відкату помилок складний
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справжнє практичне велике децентралізоване тренування" все ще є системним інженерним викликом, що стосується системної архітектури, комунікаційних протоколів, криптографічної безпеки, економічних механізмів, валідації моделей та інших аспектів, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримувати правильні результати" поки що знаходиться на ранній стадії дослідження прототипів.
Федеративне навчання, як перехідна форма між розподіленістю та децентралізацією, підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують увагу на відповідності конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, при цьому також має переваги розподілених даних у децентралізованому навчанні, але все ще залежить від надійних координуючих сторін і не має повністю відкритих і антикорупційних характеристик. Це можна розглядати як "контрольовану децентралізацію" в контексті відповідності конфіденційності, з відносно помірними завданнями навчання, структурою довіри та механізмами зв'язку, які більше підходять як перехідна архітектура для промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або велику складність співпраці, воно природно не підходить для ефективного виконання між гетерогенними, не довіреними вузлами. Наприклад, навчання великих моделей зазвичай залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективний поділ та синхронізацію в відкритих мережах; завдання, обмежені конфіденційністю даних та суворими суверенними обмеженнями, підпадають під правові та етичні обмеження, що не дозволяє відкритий обмін; а завдання, які не мають основи для стимулювання співпраці, відчувають брак зовнішньої мотивації для участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у типах завдань зі структурною легкістю, легкістю паралелізації та можливістю стимулювання, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: налаштування LoRA, завдання після навчання з поведінковою адаптацією, тренування та позначення даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю краєвих пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і толерантність до гетерогенних обчислювальних потужностей, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори тощо.
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, до представницьких блокчейн-проектів відносяться Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували значну кількість оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи передові напрямки теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, вже можна побачити початковий прогрес у інженерії. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури цих п'яти проектів, а також далі обговорено їх відмінності та взаємодоповнюючі зв'язки в системі децентралізованого AI-навчання.
Prime Intellect: Тренувальні траєкторії, що підлягають перевірці, посилене навчання, мережа співпраці, піонер
Prime Intellect прагне створити мережу навчання штучного інтелекту без необхідності довіри, де кожен може брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання штучного інтелекту з підтверджуваністю, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протоколу Prime Intellect та цінність ключових модулів
02, Детальний аналіз ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамкою моделювання та виконання завдань, налаштованою Prime Intellect для децентралізованих навчальних сцен, спеціально розробленою для гетерогенних мереж та асинхронної участі. Вона використовує підкріплювальне навчання як пріоритетний адаптивний об'єкт, структурно декомпонуючи процеси навчання, виведення та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально і співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання під наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без централізованого планування, що знижує складність системи та закладає основу для підтримки паралельного виконання декількох завдань і еволюції стратегій.
#TOPLOC:Легка перевірка поведінки тренування
TOPLOC є основним механізмом тренування верифікації, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а завершує верифікацію легковагової структури шляхом аналізу локально узгоджених траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює траєкторії поведінки під час навчання в об'єкти, що підлягають верифікації, що є ключовою інновацією для реалізації бездокументного розподілу винагороди за навчання, що забезпечує здійсненний шлях до створення аудиторської, стимулюючої децентралізованої мережі співпраці для навчання.
#SHARDCAST:Асинхронна агрегація ваг і протокол розповсюдження
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, обмежених за пропускною здатністю та змінних за станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip та локальну синхронізацію, що дозволяє кільком вузлам безперервно надсилати часткові оновлення в умовах нестабільного стану, досягаючи поступової конвергенції ваги та багатоверсійної еволюції. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленим командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення поширених викликів, таких як обмежена пропускна здатність, гетерогенність обладнання та нестабільність вузлів у децентралізованому навчанні. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на зв'язок при глобальній синхронізації, і для завершення кооперативного навчання моделі спирається лише на сусідні локальні вузли. Поєднуючи асинхронні оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Бібліотека координаційного зв'язку
PCCL - це легка комунікаційна бібліотека, розроблена Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "останню милю" комунікаційної основи для створення справді відкритої, бездоверчої мережі спільного навчання.
03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання без дозволів, яка може бути перевірена і має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та стандарти валідації
Тренувальний вузол: виконання локального навчання, подання оновлення ваги та спостережувальної траєкторії
Вузли перевірки: використання механізму TOPLOC для перевірки справжності навчальної поведінки та участі в розрахунку винагород і агрегації стратегій
Ядро процесу угоди включає в себе публікацію завдань, навчання вузлів, перевірку траєкторій, агрегацію ваг та виплату винагород, формуючи замкнене коло стимулювання навколо "реальних навчальних дій".
04、INTELLECT-2:Перше випуск підтвердженої децентралізованої навчальної моделі
Prime Intellect у травні 2025 року випустила INTELLECT-2, це перша у світі велика модель зміцнення, навчена за допомогою асинхронних, бездоверчо децентралізованих вузлів. Кількість параметрів становить 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, демонструючи життєздатність та стабільність асинхронної кооперативної мережі. Ця модель не тільки є проривом у продуктивності, але й вперше системно реалізує парадигму "навчання = консенсус", запропоновану Prime Intellect. INTELLECT-2 інтегрує ключові протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує собою перше досягнення децентралізованої навчальної мережі.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
4 лайків
Нагородити
4
4
Репост
Поділіться
Прокоментувати
0/400
AirdropHarvester
· 7год тому
Тренування також потрібно для аірдропу!
Переглянути оригіналвідповісти на0
RugDocScientist
· 7год тому
Говорячи чесно, проблема обчислювальної потужності є серйозною недоліком...
Децентралізація AI тренування на передньому краї: Prime Intellect та Pluralis ведуть нову парадигму в індустрії
Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У повному ланцюжку вартості AI, навчання моделей є етапом з найбільшими витратами ресурсів і найвищими технічними вимогами, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. В порівнянні зі стадією висновку, яка є легковаговою, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних та інтенсивної підтримки алгоритмів оптимізації, що є справжньою "важкою промисловістю" у будівництві AI-систем. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиним агентом у локальному високопродуктивному кластері, охоплюючи всі етапи навчання – від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки, всі вони координуються єдиною системою управління. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT, Gemini тощо, з перевагами високої ефективності та контрольованих ресурсів, але в той же час має проблеми з монополією даних, бар'єрами для ресурсів, споживанням енергії та ризиком єдиного пункту.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин, які виконують їх спільно, щоб подолати обмеження обчислення та зберігання на одному комп'ютері. Хоча фізично має "розподілені" характеристики, але в цілому все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі високошвидкісних локальних мереж, через технологію високошвидкісної зв'язку NVLink, головний вузол координує всі підзадачі. Основні методи включають:
Розподілене навчання є комбінацією «централізованого контролю + розподіленого виконання», аналогічно тому, як один і той же керівник дистанційно командує кількома «офісними» співробітниками для спільного виконання завдання. Наразі майже всі основні великі моделі навчаються саме цим способом.
Децентралізоване навчання означає більш відкритий та антикризовий шлях у майбутньому. Його основною характеристикою є: кілька ненадійних вузлів спільно виконують навчальні завдання без централізованого координатора, зазвичай за допомогою протоколу, що керує розподілом завдань та співпрацею, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справжнє практичне велике децентралізоване тренування" все ще є системним інженерним викликом, що стосується системної архітектури, комунікаційних протоколів, криптографічної безпеки, економічних механізмів, валідації моделей та інших аспектів, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримувати правильні результати" поки що знаходиться на ранній стадії дослідження прототипів.
Федеративне навчання, як перехідна форма між розподіленістю та децентралізацією, підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують увагу на відповідності конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, при цьому також має переваги розподілених даних у децентралізованому навчанні, але все ще залежить від надійних координуючих сторін і не має повністю відкритих і антикорупційних характеристик. Це можна розглядати як "контрольовану децентралізацію" в контексті відповідності конфіденційності, з відносно помірними завданнями навчання, структурою довіри та механізмами зв'язку, які більше підходять як перехідна архітектура для промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або велику складність співпраці, воно природно не підходить для ефективного виконання між гетерогенними, не довіреними вузлами. Наприклад, навчання великих моделей зазвичай залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективний поділ та синхронізацію в відкритих мережах; завдання, обмежені конфіденційністю даних та суворими суверенними обмеженнями, підпадають під правові та етичні обмеження, що не дозволяє відкритий обмін; а завдання, які не мають основи для стимулювання співпраці, відчувають брак зовнішньої мотивації для участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у типах завдань зі структурною легкістю, легкістю паралелізації та можливістю стимулювання, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: налаштування LoRA, завдання після навчання з поведінковою адаптацією, тренування та позначення даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю краєвих пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і толерантність до гетерогенних обчислювальних потужностей, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори тощо.
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, до представницьких блокчейн-проектів відносяться Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували значну кількість оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи передові напрямки теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, вже можна побачити початковий прогрес у інженерії. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури цих п'яти проектів, а також далі обговорено їх відмінності та взаємодоповнюючі зв'язки в системі децентралізованого AI-навчання.
Prime Intellect: Тренувальні траєкторії, що підлягають перевірці, посилене навчання, мережа співпраці, піонер
Prime Intellect прагне створити мережу навчання штучного інтелекту без необхідності довіри, де кожен може брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання штучного інтелекту з підтверджуваністю, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протоколу Prime Intellect та цінність ключових модулів
02, Детальний аналіз ключових механізмів тренування Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамкою моделювання та виконання завдань, налаштованою Prime Intellect для децентралізованих навчальних сцен, спеціально розробленою для гетерогенних мереж та асинхронної участі. Вона використовує підкріплювальне навчання як пріоритетний адаптивний об'єкт, структурно декомпонуючи процеси навчання, виведення та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально і співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання під наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без централізованого планування, що знижує складність системи та закладає основу для підтримки паралельного виконання декількох завдань і еволюції стратегій.
#TOPLOC:Легка перевірка поведінки тренування
TOPLOC є основним механізмом тренування верифікації, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а завершує верифікацію легковагової структури шляхом аналізу локально узгоджених траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює траєкторії поведінки під час навчання в об'єкти, що підлягають верифікації, що є ключовою інновацією для реалізації бездокументного розподілу винагороди за навчання, що забезпечує здійсненний шлях до створення аудиторської, стимулюючої децентралізованої мережі співпраці для навчання.
#SHARDCAST:Асинхронна агрегація ваг і протокол розповсюдження
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, обмежених за пропускною здатністю та змінних за станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip та локальну синхронізацію, що дозволяє кільком вузлам безперервно надсилати часткові оновлення в умовах нестабільного стану, досягаючи поступової конвергенції ваги та багатоверсійної еволюції. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленим командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення поширених викликів, таких як обмежена пропускна здатність, гетерогенність обладнання та нестабільність вузлів у децентралізованому навчанні. Його архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на зв'язок при глобальній синхронізації, і для завершення кооперативного навчання моделі спирається лише на сусідні локальні вузли. Поєднуючи асинхронні оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Бібліотека координаційного зв'язку
PCCL - це легка комунікаційна бібліотека, розроблена Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "останню милю" комунікаційної основи для створення справді відкритої, бездоверчої мережі спільного навчання.
03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання без дозволів, яка може бути перевірена і має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає в себе публікацію завдань, навчання вузлів, перевірку траєкторій, агрегацію ваг та виплату винагород, формуючи замкнене коло стимулювання навколо "реальних навчальних дій".
04、INTELLECT-2:Перше випуск підтвердженої децентралізованої навчальної моделі
Prime Intellect у травні 2025 року випустила INTELLECT-2, це перша у світі велика модель зміцнення, навчена за допомогою асинхронних, бездоверчо децентралізованих вузлів. Кількість параметрів становить 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, демонструючи життєздатність та стабільність асинхронної кооперативної мережі. Ця модель не тільки є проривом у продуктивності, але й вперше системно реалізує парадигму "навчання = консенсус", запропоновану Prime Intellect. INTELLECT-2 інтегрує ключові протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує собою перше досягнення децентралізованої навчальної мережі.