OPML: Використання оптимістичного механізму для досягнення ефективного та надійного машинного навчання

Резюме

Ця стаття представляє новий метод, названий OPML( оптимістичне машинне навчання ), який здатний ефективно виконувати інференцію та навчання моделей ШІ на блокчейн-системах. У порівнянні з нульовими знаннями машинного навчання ( ZKML), OPML може забезпечити більш низькі витрати та вищу ефективність у наданні послуг машинного навчання. APML має дуже низькі апаратні вимоги, звичайний ПК може запускати великі мовні моделі, такі як 7B-LLaMA.

OPML використовує механізм верифікації ігор для забезпечення децентралізації та верифікованого консенсусу сервісів машинного навчання. Увесь процес включає: ініціювання завдання запитувачем, виконання завдання сервером та подання результатів, верифікацію результатів валідатором, у разі суперечок — точне визначення помилкового кроку за допомогою бінарного протоколу, а в кінці — арбітраж за допомогою смарт-контракту.

! OPML: Машинне навчання з Optimistic Rollup

Одноетапна верифікаційна гра

Основою одностадійного OPML є побудова віртуальної машини (VM), яка виконує офлайн виконання та онлайн арбітраж. Для підвищення ефективності інференції AI моделей реалізовано спеціалізовану легку бібліотеку глибоких нейронних мереж. Використовуючи технологію перехресної компіляції, код інференції AI моделей компілюється в інструкції VM, а образ VM керується через дерево Меркла.

В реальних тестах базова модель класифікації ШІ витрачала 2 секунди на інференцію в VM, а весь процес виклику міг бути завершений у локальному середовищі тестування Ethereum за 2 хвилини.

! OPML: Машинне навчання з оптимістичною системою зведення

Багатоступенева верифікація гри

Щоб подолати обмеження однофазного протоколу, було запропоновано багатофазну верифікаційну гру. Цей підхід вимагає обчислень лише на останній стадії у VM, тоді як інші стадії можуть бути гнучко виконані в локальному середовищі, повною мірою використовуючи апаратні можливості прискорення, такі як CPU, GPU тощо.

Як приклад двофазного OPML, друга фаза відповідає «великій команді», перша фаза схожа на одностадійну гру. За допомогою дерева Меркла гарантується цілісність і безпека між різними фазами.

У моделі LLaMA обчислювальний процес глибокої нейронної мережі можна представити у вигляді обчислювального графа. На другому етапі проводиться верифікаційна гра на обчислювальному графі, що дозволяє використовувати багатопотокові процесори або графічні процесори для прискорення. Перший етап перетворює обчислення окремого вузла на інструкції VM.

! OPML: Машинне навчання з Optimistic Rollup

Аналіз продуктивності

У порівнянні з одностадійним OPML, двостадійний OPML забезпечує прискорення обчислень у α разів, де α представляє прискорення, яке забезпечують GPU або паралельні обчислення. Що стосується розміру дерева Меркла, двостадійний OPML має O(m+n), а одностадійний - O(mn), де m і n відповідно є кількістю команд VM і кількістю вузлів обчислювального графа.

Гарантія узгодженості

Щоб забезпечити крос-платформену узгодженість, OPML використовує два ключові методи:

1. Використовуйте алгоритм фіксованої крапки ( для технології квантування ), щоб зменшити вплив помилок округлення з плаваючою крапкою.
2. Використання програмної бібліотеки з плаваючою комою для забезпечення узгодженості між платформами

Ці методи заклали основу для досягнення надійних результатів машинного навчання в рамках OPML.

OPML проти ZKML

OPML має нижчу обчислювальну складність, вищу ефективність та нижчий поріг участі в порівнянні з ZKML. Наразі OPML в основному зосереджується на моделюванні висновків, але фреймворк також підтримує процес навчання, що робить його придатним для різних завдань машинного навчання.

Проект OPML все ще активно розробляється, запрошуємо зацікавлених розробників долучитися до внесків.

! OPML: Машинне навчання з оптимістичною системою зведення