OPML: Menggunakan mekanisme optimis untuk mewujudkan pembelajaran mesin yang efisien dan dapat dipercaya

Ringkasan

Artikel ini memperkenalkan metode baru yang disebut OPML( pembelajaran mesin optimis ), yang dapat melakukan inferensi dan pelatihan model AI secara efisien di sistem blockchain. Dibandingkan dengan pembelajaran mesin zero-knowledge ( ZKML ), OPML dapat menawarkan layanan pembelajaran mesin yang lebih rendah biaya dan lebih tinggi efisiensi. Persyaratan perangkat keras OPML sangat rendah, PC biasa dapat menjalankan model bahasa besar seperti 7B-LLaMA.

OPML menggunakan mekanisme permainan verifikasi untuk memastikan desentralisasi dan konsensus yang dapat diverifikasi dalam layanan pembelajaran mesin. Proses keseluruhan mencakup: pemohon mengajukan tugas, server menyelesaikan tugas dan mengirimkan hasil, validator memverifikasi hasil, jika ada sengketa, langkah kesalahan akan dilokalisasi secara tepat menggunakan protokol pembagian, dan akhirnya diadili oleh kontrak pintar.

Permainan Verifikasi Satu Tahap

Inti dari OPML satu tahap adalah membangun mesin virtual (VM) yang melakukan eksekusi off-chain dan arbitrase on-chain. Untuk meningkatkan efisiensi inferensi model AI, telah dikembangkan sebuah perpustakaan jaringan saraf dalam yang ringan dan khusus. Teknologi kompilasi silang digunakan untuk mengkompilasi kode inferensi model AI menjadi instruksi VM, dan citra VM dikelola melalui pohon Merkle.

Dalam pengujian nyata, model klasifikasi AI dasar memerlukan waktu 2 detik untuk inferensi di VM, dan seluruh proses tantangan dapat diselesaikan dalam lingkungan pengujian Ethereum lokal dalam waktu 2 menit.

Permainan Verifikasi Multi-Tahap

Untuk mengatasi keterbatasan dari protokol satu tahap, sebuah permainan verifikasi multi-tahap diusulkan. Metode ini hanya memerlukan perhitungan di VM pada tahap akhir, sementara tahap lainnya dapat dijalankan secara fleksibel di lingkungan lokal, memanfaatkan kemampuan akselerasi perangkat keras seperti CPU, GPU, dan lainnya.

Sebagai contoh OPML dua tahap, tahap kedua sesuai dengan "perintah besar", tahap pertama mirip dengan permainan satu tahap. Melalui pohon Merkle untuk menjamin integritas dan keamanan antara tahap yang berbeda.

Dalam model LLaMA, proses perhitungan jaringan saraf dalam dapat direpresentasikan sebagai grafik perhitungan. Tahap kedua melakukan verifikasi permainan pada grafik perhitungan, yang dapat mempercepat menggunakan CPU atau GPU multi-thread. Tahap pertama mengubah perhitungan dari node tunggal menjadi instruksi VM.

Analisis Kinerja

Dibandingkan dengan OPML satu tahap, OPML dua tahap mencapai percepatan perhitungan sebesar α kali, di mana α mewakili rasio percepatan yang dihasilkan oleh GPU atau komputasi paralel. Dalam hal ukuran pohon Merkle, OPML dua tahap adalah O(m+n), sedangkan satu tahap adalah O(mn), di mana m dan n masing-masing adalah jumlah instruksi VM dan jumlah node grafik perhitungan.

Jaminan Konsistensi

Untuk memastikan konsistensi lintas platform, OPML menggunakan dua metode kunci:

1. Gunakan algoritma tetap ( teknologi kuantifikasi ) untuk mengurangi pengaruh kesalahan pembulatan floating point.
2. Menggunakan pustaka titik mengambang berbasis perangkat lunak untuk memastikan konsistensi lintas platform

Metode ini membentuk dasar untuk mencapai hasil machine learning yang dapat diandalkan dalam kerangka OPML.

OPML vs ZKML

OPML memiliki keunggulan seperti kompleksitas komputasi yang lebih rendah, efisiensi yang lebih tinggi, dan ambang partisipasi yang lebih rendah dibandingkan ZKML. Saat ini, OPML terutama fokus pada inferensi model, tetapi kerangka ini juga mendukung proses pelatihan, dan dapat digunakan untuk berbagai tugas pembelajaran mesin.

Proyek OPML masih dalam pengembangan aktif, silakan para pengembang yang tertarik untuk berkontribusi.