OPML:使用樂觀機制實現高效可信的機器學習

摘要

本文介紹了一種名爲OPML(樂觀機器學習)的新方法,它能夠在區塊鏈系統上高效地進行AI模型推理和訓練。與零知識機器學習(ZKML)相比,OPML可以提供更低成本、更高效率的機器學習服務。OPML的硬件要求很低,普通PC即可運行大型語言模型如7B-LLaMA。

OPML採用驗證遊戲機制來保證機器學習服務的去中心化和可驗證共識。整個過程包括:請求者發起任務、服務器完成任務並提交結果、驗證者驗證結果,如有爭議則通過二分協議精確定位錯誤步驟,最後由智能合約仲裁。

單階段驗證遊戲

單階段OPML的核心是構建了一個鏈下執行和鏈上仲裁的虛擬機(VM)。爲了提高AI模型推理效率,實現了一個專用的輕量級深度神經網路庫。採用交叉編譯技術將AI模型推理代碼編譯成VM指令,VM鏡像通過默克爾樹管理。

在實際測試中,一個基本的AI分類模型在VM中推理用時2秒,整個挑戰過程在本地以太坊測試環境中可在2分鍾內完成。

多階段驗證遊戲

爲克服單階段協議的局限性,提出了多階段驗證遊戲。這種方法只需在最後階段在VM中計算,其他階段可在本地環境中靈活執行,充分利用CPU、GPU等硬件加速能力。

以兩階段OPML爲例,第二階段對應"大指令",第一階段類似單階段遊戲。通過默克爾樹保證不同階段之間的完整性和安全性。

在LLaMA模型中,可將深度神經網路的計算過程表示爲計算圖。第二階段在計算圖上進行驗證博弈,可利用多線程CPU或GPU加速。第一階段將單個節點的計算轉換爲VM指令。

性能分析

相比單階段OPML,兩階段OPML實現了α倍的計算加速,其中α代表GPU或並行計算帶來的加速比。在Merkle樹大小方面,兩階段OPML爲O(m+n),單階段爲O(mn),m和n分別爲VM指令數和計算圖節點數。

一致性保證

爲確保跨平台一致性,OPML採用了兩種關鍵方法:

1. 使用定點算法(量化技術)來減少浮點舍入誤差的影響
2. 利用基於軟件的浮點庫來保證跨平台的一致性

這些方法爲OPML框架內實現可靠的機器學習結果奠定了基礎。

OPML vs ZKML

OPML相比ZKML具有更低的計算復雜度、更高的效率、更低的參與門檻等優勢。目前OPML主要聚焦於模型推理,但框架也支持訓練過程,可用於各種機器學習任務。

OPML項目仍在積極開發中,歡迎感興趣的開發者參與貢獻。