OPML:楽観的メカニズムを使用して効率的で信頼できる機械学習を実現する

まとめ

この記事では、OPML(という名前の楽観的機械学習)の新しい方法について説明します。これは、ブロックチェーンシステム上でAIモデルの推論とトレーニングを効率的に行うことができます。ゼロ知識機械学習(ZKML)と比較して、OPMLはより低コストでより高効率の機械学習サービスを提供できます。OPMLのハードウェア要件は非常に低く、一般的なPCで7B-LLaMAのような大規模言語モデルを実行できます。

OPMLは検証ゲームメカニズムを採用して、機械学習サービスの分散化と検証可能なコンセンサスを保証します。全過程は、リクエスターがタスクを開始し、サーバーがタスクを完了し結果を提出し、バリデーターが結果を検証し、異議がある場合はバイナリプロトコルを通じてエラーのステップを正確に特定し、最後にスマートコントラクトが仲裁を行うというものです。

! OPML:楽観的ロールアップによる機械学習

シングルステージ検証ゲーム

単段階OPMLの核心は、オフチェーン実行とオンチェーン仲裁の仮想マシン(VM)を構築することです。AIモデル推論の効率を向上させるために、専用の軽量深層神経ネットワークライブラリが実装されました。クロスコンパイル技術を用いてAIモデル推論コードをVM命令にコンパイルし、VMイメージはマークルツリーによって管理されます。

実際のテストでは、基本的なAI分類モデルがVMで推論するのに2秒かかり、全体のチャレンジプロセスはローカルEthereumテスト環境で2分以内に完了できます。

! OPML:楽観的ロールアップシステムによる機械学習

マルチステージ検証ゲーム

単段階プロトコルの限界を克服するために、多段階検証ゲームが提案されました。この方法では、最終段階でのみVM内で計算を行い、他の段階はローカル環境で柔軟に実行できるため、CPUやGPUなどのハードウェアアクセラレーション能力を十分に活用できます。

2段階OPMLを例に挙げると、第二段階は「大命令」に対応し、第一段階は単一段階のゲームに似ています。メルクルツリーを通じて、異なる段階間の完全性と安全性を保証します。

LLaMAモデルでは、深層ニューラルネットワークの計算プロセスを計算グラフとして表現できます。第二段階では、計算グラフ上で検証ゲームを行い、マルチスレッドCPUまたはGPUを利用して加速できます。第一段階では、単一ノードの計算をVM命令に変換します。

! OPML:楽観的ロールアップによる機械学習

パフォーマンス分析

単段OPMLと比較して、二段OPMLはα倍の計算速度向上を実現しました。ここで、αはGPUまたは並列計算による速度向上を示します。Merkleツリーのサイズに関して、二段OPMLはO(m+n)であり、単段はO(mn)です。mとnはそれぞれVM命令数と計算グラフのノード数を表します。

! OPML:楽観的ロールアップによる機械学習

一貫性の保証

クロスプラットフォームの一貫性を確保するために、OPMLは2つの重要な方法を採用しました:

1. 定点アルゴリズム(を使用して量子技術)で浮動小数点の丸め誤差の影響を減少させる
2. ソフトウェアベースの浮動小数点ライブラリを利用して、クロスプラットフォームの一貫性を保証する

これらの方法は、OPMLフレームワーク内で信頼できる機械学習結果を実現するための基盤を築きました。

OPMLとZKMLの比較

OPMLはZKMLに比べて、計算の複雑さが低く、効率が高く、参加のハードルが低いなどの利点があります。現在、OPMLは主にモデル推論に焦点を当てていますが、フレームワークはトレーニングプロセスもサポートしており、さまざまな機械学習タスクに使用できます。

OPMLプロジェクトはまだ積極的に開発中であり、興味のある開発者の参加と貢献を歓迎します。

! OPML:楽観的ロールアップシステムによる機械学習