Kripto AI'nın Kutsal Kasesi: Merkeziyetsizlikle Eğitimdeki Sınırları Zorlamak

AI'nin tüm değer zincirinde, model eğitimi en fazla kaynak tüketen ve en yüksek teknik engel olan aşamadır; bu doğrudan modelin yetenek sınırını ve gerçek uygulama etkisini belirler. Çıkarım aşamasındaki hafif çağrılarla kıyaslandığında, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunlukta optimizasyon algoritması desteği gerektirir; bu, AI sistemlerinin inşasında gerçek bir "ağır sanayi"dir. Mimari paradigmalar açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitimi.

Merkeziyetsiz eğitim, bir tek kurumun yerel yüksek performanslı kümeler içinde tüm eğitim sürecini tamamladığı en yaygın geleneksel yöntemdir. Donanım, alt yazılım, küme zamanlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilerek çalıştırılır. Bu derin işbirliği mimarisi, bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkarır, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için oldukça uygundur, yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajları vardır, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riskleri gibi sorunlar da mevcuttur.

Dağıtık eğitim, günümüz büyük model eğitiminde ana akım yöntemdir. Temelinde, model eğitim görevlerinin parçalanarak birden fazla makineye dağıtılması ve birlikte yürütülmesi yatar; bu sayede tek makineli hesaplama ve depolama darboğazları aşılabilir. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kuruluş tarafından kontrol edilir, yönetilir ve senkronize edilir. Genellikle yüksek hızlı yerel ağ ortamlarında çalışır ve NVLink yüksek hızlı bağlantı teknolojisi aracılığıyla ana düğüm, alt görevleri koordine eder. Ana akım yöntemler arasında şunlar bulunmaktadır:

• Veri paralelliği: Her bir düğüm farklı veri parametrelerini paylaşarak eğitiyor, model ağırlıklarının eşleşmesi gerekiyor.
• Model paralelliği: Modelin farklı bölümlerini farklı düğümlerde dağıtarak güçlü ölçeklenebilirlik sağlama
• Boru hattı paralel: Aşamalı seri yürütme, throughput'u artırır.
• Tensör paralelliği: Matris hesaplamalarını ince bir şekilde bölme, paralel granülasyonu artırma

Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; bu, aynı patronun uzaktan birden fazla "ofis" çalışanını iş birliği yaparak görev tamamlamasıyla benzerlik gösterir. Şu anda neredeyse tüm ana akım büyük modeller bu şekilde eğitim almaktadır.

Merkeziyetsizlik eğitimi, daha açık ve sansüre dayanıklı bir gelecek yolu anlamına gelir. Temel özelliği: merkezi bir koordine edici olmaksızın, birbirine güvenmeyen birden fazla düğümün eğitim görevini iş birliği içinde tamamlamasıdır; genellikle görev dağıtımı ve iş birliği için protokollerle yönlendirilir ve katkıların dürüstlüğünü sağlamak için şifreleme teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı başlıca zorluklar şunlardır:

• Cihaz heterojenliği ve bölme zorluğu: Heterojen cihazların koordinasyonu zor, görev bölme verimliliği düşük
• İletişim verimliliği darboğazı: Ağ iletişimi istikrarsız, gradyan senkronizasyon darboğazı belirgin
• Güvenilir yürütme eksikliği: Güvenilir yürütme ortamının eksikliği, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamayı zorlaştırır.
• Birlikte koordinasyon eksikliği: Merkezi bir denetleyici yok, görev dağıtımı ve olağanüstü geri alma mekanizması karmaşık

Merkeziyetsizlik eğitimi, dünya genelindeki bir grup gönüllünün kendi hesaplama güçlerini bir araya getirerek modeli eğitmesi olarak anlaşılabilir; ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğu olup, sistem mimarisi, iletişim protokolleri, kriptografik güvenlik, ekonomik mekanizmalar, model doğrulama gibi birçok boyutu kapsamaktadır. Ancak "iş birliği etkili + dürüstlüğü teşvik etme + sonuç doğru" olasılığı henüz erken prototip keşif aşamasındadır.

Federated öğrenme, dağıtık ve Merkeziyetsizlik arasındaki geçiş biçimi olarak, verilerin yerel olarak saklanmasını ve model parametrelerinin merkezi olarak toplanmasını vurgular; bu, gizlilik uyumuna önem veren senaryolar için uygundur. Federated öğrenme, dağıtık eğitim mühendislik yapısını ve yerel işbirliği yeteneklerini taşırken, aynı zamanda Merkeziyetsizlik eğitimindeki veri dağıtım avantajlarına sahiptir, ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyum senaryolarında bir "kontrollü merkeziyetsizlik" çözümü olarak düşünülebilir; eğitim görevleri, güven yapısı ve iletişim mekanizmaları açısından görece ılımlıdır ve endüstri için geçiş aşaması dağıtım yapısı olarak daha uygundur.

Merkeziyetsizlik eğitiminin sınırları, fırsatları ve gerçek yolları

Eğitim paradigması açısından, Merkeziyetsizlik eğitimi tüm görev türleri için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin yüksek olması veya işbirliğinin zorluğu nedeniyle, doğal olarak heterojen, güvenilir olmayan düğümler arasında verimli bir şekilde tamamlanması mümkün değildir. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliğine bağımlıdır; bu nedenle açık ağda etkili bir şekilde kesilip senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamaları olan görevler yasal uyum ve etik kısıtlamalar nedeniyle açık bir şekilde paylaşılamaz; ve işbirliği teşvikleri olmayan görevler dışsal katılım motivasyonundan yoksundur. Bu sınırlar, mevcut Merkeziyetsizlik eğitiminin gerçek sınırlamalarını oluşturmaktadır.

Ancak bu, merkeziyetsizlik eğitiminin sahte bir kavram olduğu anlamına gelmez. Aslında, yapısı hafif, paralel hale getirilebilir ve teşvik edici görev türlerinde, merkeziyetsizlik eğitimi belirgin bir uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış uyumlu son eğitim görevleri, veri kalabalığı eğitimi ve etiketleme görevleri, kaynak kontrollü küçük temel model eğitimi ve kenar cihazlarının katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevler genel olarak yüksek paralellik, düşük bağlılık ve heterojen hesaplama gücüne tolerans özelliklerine sahiptir ve P2P ağları, Swarm protokolü, dağıtık optimizasyon araçları gibi yollarla işbirlikçi eğitim için son derece uygundur.

Merkeziyetsizlik Eğitimi Klasik Proje Analizi

Şu anda merkeziyetsizlik eğitim ve federatif öğrenme öncü alanında, temsilci blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik gerçekleştirme zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımı konusunda daha fazla özgün araştırma önerirken, mevcut teorik araştırmanın öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun gerçekleştirme yolları ise görece daha net olup, ilk mühendislik ilerlemeleri görülebilmektedir. Bu yazıda, bu beş projenin arkasındaki temel teknoloji ve mühendislik mimarisini sırasıyla analiz edecek ve merkeziyetsiz AI eğitim sistemindeki farklılıkları ve tamamlayıcı ilişkilerini daha derinlemesine tartışacağız.

Prime Intellect: Eğitim yolu doğrulanabilir pekiştirmeli öğrenme işbirlikçi ağ öncüsü

Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı kurmayı amaçlıyor, böylece herkes eğitime katılabilir ve hesaplama katkılarının güvenilir ödüllerini alabilir. Prime Intellect, doğrulanabilirlik, açıklık ve teşvik mekanizmalarının tamamlanmış olduğu bir AI merkeziyetsizlik eğitim sistemi oluşturmak için PRIME-RL + TOPLOC + SHARDCAST üç ana modülünü kullanmayı hedefliyor.

01, Prime Intellect protokol yığını yapısı ve ana modül değerleri

02, Prime Intellect eğitiminin ana mekanizmalarının ayrıntılı açıklaması

#PRIME-RL: Ayrık Asenkron Güçlendirme Öğrenimi Görev Mimarisi

PRIME-RL, Prime Intellect tarafından merkeziyetsiz eğitim senaryoları için özel olarak tasarlanmış bir görev modelleme ve yürütme çerçevesidir; heterojen ağlar ve asenkron katılımcılar için özel olarak tasarlanmıştır. Güçlü öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır, böylece her eğitim düğümü yerel olarak bağımsız olarak görev döngüsünü tamamlayabilir ve standart arayüzler aracılığıyla doğrulama ve birleştirme mekanizmalarıyla işbirliği yapabilir. Geleneksel denetimli öğrenme süreçleriyle karşılaştırıldığında, PRIME-RL merkezî planlamanın olmadığı ortamlarda esnek eğitim sağlamak için daha uygundur; bu, sistem karmaşıklığını azaltmakla kalmaz, aynı zamanda çoklu görev paralelliği ve strateji evrimi desteklemek için bir temel oluşturur.

#TOPLOC:Ağır olmayan eğitim davranış doğrulama mekanizması

TOPLOC, Prime Intellect tarafından önerilen eğitim doğrulanabilirlik çekirdek mekanizmasıdır ve bir düğümün gerçekten gözlem verilerine dayanarak etkili bir strateji öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplamasına dayanmaz, bunun yerine "gözlem dizisi↔strateji güncelleme" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk uygulamadır ve güvene dayanmayan eğitim ödül dağıtımını gerçekleştirmenin anahtarı olan yenilikçi bir adımdır. Denetlenebilir, teşvik edici Merkeziyetsizlik işbirlikçi eğitim ağları inşa etmek için uygulanabilir bir yol sunar.

#SHARDCAST: Asenkron Ağırlık Birleştirme ve Yayılma Protokolü

SHARDCAST, Prime Intellect tarafından tasarlanan ağırlık yayılımı ve toplama protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu sürekli değişen gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizması ve yerel senkronizasyon stratejisini birleştirerek, birden fazla düğümün senkronize olmayan durumlarda sürekli kısmi güncellemeler göndermesine olanak tanır, ağırlıkların kademeli yakınsaması ve çoklu versiyon evrimi sağlanır. Merkezi veya senkronize AllReduce yöntemleri ile karşılaştırıldığında, SHARDCAST merkeziyetsizlikte eğitimin ölçeklenebilirliğini ve hata toleransını önemli ölçüde artırır, istikrarlı ağırlık mutabakatı ve sürekli eğitim iterasyonları inşa etmenin temel temelidir.

#OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi

OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo kavramını bağımsız olarak gerçekleştirdiği ve açık kaynak olarak sunduğu bir iletişim optimizasyon çerçevesidir. Bu çerçeve, merkeziyetsiz eğitimde sıkça karşılaşılan bant genişliği kısıtlamaları, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklar için özel olarak tasarlanmıştır. Mimarisi veri paralelliğine dayanmaktadır ve Ring, Expander, Small-World gibi seyrek topolojik yapılar inşa ederek, küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmaktadır; model iş birliği eğitimi yalnızca yerel komşu düğümlere dayanarak gerçekleştirilebilir. Asenkron güncellemeler ve kesinti tolerans mekanizmasını birleştirerek, OpenDiLoCo, tüketici düzeyi GPU'ların ve kenar cihazların eğitim görevlerine istikrarlı bir şekilde katılmasını sağlar ve küresel iş birliği eğitimine katılabilirliği önemli ölçüde artırır; bu, merkeziyetsiz eğitim ağı inşa etmenin temel iletişim altyapılarından biridir.

#PCCL: İşbirliği İletişim Kütüphanesi

PCCL, Prime Intellect tarafından merkeziyetsiz AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir ve geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topoloji, gradyan sıkıştırma, düşük hassasiyet senkronizasyonu ve kesme noktasından kurtarma desteği sunar, tüketici sınıfı GPU'larda ve istikrarsız düğümlerde çalışabilir, OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen temel bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçekten açık, güvene ihtiyaç duymayan işbirlikçi eğitim ağının "son bir mil" iletişim altyapısını sağlamaktadır.

03, Prime Intellect teşvik ağı ve rol dağılımı

Prime Intellect, herhangi birinin görevlerde yer almasına ve gerçek katkılara dayalı ödüller kazanmasına olanak tanıyan, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizmasına sahip bir eğitim ağı inşa etti. Protokol, üç temel rol üzerine çalışmaktadır:

• Görev başlatıcısı: eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımlar
• Eğitim düğümü: Yerel eğitim gerçekleştirme, ağırlık güncellemelerini gönderme ve gözlem izini takip etme
• Doğrulama Düğümleri: Eğitim davranışının gerçekliğini TOPLOC mekanizması kullanarak doğrulamak ve ödül hesaplaması ile strateji birleştirmeye katılmak

Protokolün temel süreçleri, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngü oluşturur.

04, INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayımlanması

Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü. Bu, dünya genelinde asenkron, güvene ihtiyaç duymayan Merkeziyetsizlik düğümlerinin işbirliğiyle eğitilmiş ilk büyük modeldir ve parametre boyutu 32B'ye ulaşmaktadır. INTELLECT-2 modeli, üç kıtada bulunan 100'den fazla GPU heterojen düğüm tarafından işbirliği içinde eğitilmiştir ve tamamen asenkron bir mimari kullanılarak, eğitim süresi 400 saati aşmıştır. Bu durum, asenkron işbirliği ağının uygulanabilirliği ve kararlılığını göstermektedir. Bu model yalnızca performans açısından bir atılım değil, aynı zamanda Prime Intellect'in "eğitim, konsensüs demektir" paradigmasının ilk sistematik uygulanışıdır. INTELLECT-2, PRIME-RL, TOPLOC ve SHARDCAST gibi temel protokol modüllerini entegre ederek, merkeziyetsiz eğitim ağının ilk kez eğitim gerçekleştirmesini simgeler.