OPML:使用乐观机制实现高效可信的机器学习

摘要

本文介绍了一种名为OPML(乐观机器学习)的新方法,它能够在区块链系统上高效地进行AI模型推理和训练。与零知识机器学习(ZKML)相比,OPML可以提供更低成本、更高效率的机器学习服务。OPML的硬件要求很低,普通PC即可运行大型语言模型如7B-LLaMA。

OPML采用验证游戏机制来保证机器学习服务的去中心化和可验证共识。整个过程包括:请求者发起任务、服务器完成任务并提交结果、验证者验证结果,如有争议则通过二分协议精确定位错误步骤,最后由智能合约仲裁。

单阶段验证游戏

单阶段OPML的核心是构建了一个链下执行和链上仲裁的虚拟机(VM)。为了提高AI模型推理效率,实现了一个专用的轻量级深度神经网络库。采用交叉编译技术将AI模型推理代码编译成VM指令,VM镜像通过默克尔树管理。

在实际测试中,一个基本的AI分类模型在VM中推理用时2秒,整个挑战过程在本地以太坊测试环境中可在2分钟内完成。

多阶段验证游戏

为克服单阶段协议的局限性,提出了多阶段验证游戏。这种方法只需在最后阶段在VM中计算,其他阶段可在本地环境中灵活执行,充分利用CPU、GPU等硬件加速能力。

以两阶段OPML为例,第二阶段对应"大指令",第一阶段类似单阶段游戏。通过默克尔树保证不同阶段之间的完整性和安全性。

在LLaMA模型中,可将深度神经网络的计算过程表示为计算图。第二阶段在计算图上进行验证博弈,可利用多线程CPU或GPU加速。第一阶段将单个节点的计算转换为VM指令。

性能分析

相比单阶段OPML,两阶段OPML实现了α倍的计算加速,其中α代表GPU或并行计算带来的加速比。在Merkle树大小方面,两阶段OPML为O(m+n),单阶段为O(mn),m和n分别为VM指令数和计算图节点数。

一致性保证

为确保跨平台一致性,OPML采用了两种关键方法:

1. 使用定点算法(量化技术)来减少浮点舍入误差的影响
2. 利用基于软件的浮点库来保证跨平台的一致性

这些方法为OPML框架内实现可靠的机器学习结果奠定了基础。

OPML vs ZKML

OPML相比ZKML具有更低的计算复杂度、更高的效率、更低的参与门槛等优势。目前OPML主要聚焦于模型推理,但框架也支持训练过程,可用于各种机器学习任务。

OPML项目仍在积极开发中,欢迎感兴趣的开发者参与贡献。