OpenAI'nin en güçlü modeli o3 "hileye maruz kalmak", test yanıtlarını önceden almak için ayrıcalıkları kullandığından şüpheleniliyor, matematiksel yetenek sahtekarlığı?

Son zamanlarda, "Meemi" adlı kar amacı gütmeyen bir kuruluş olan Epoch AI yüklenicisi, Less Wrong forumunda, ChatGPT'nin arkasındaki geliştirici OpenAI'nin AI geliştirme matematik kıyaslama test platformu FrontierMath'i özel olarak finanse ettiğini ve en son modeli o3'ün testte yüksek puan almasına yardımcı olmak için FrontierMath testinin sorularını ve cevaplarını alma ayrıcalığına sahip olduğunu yayınladı. (Özet: ChatGPT'yi kontrol etmek ister misiniz? Musk, genel müfettişe OpenAI hisselerinin zorunlu açık artırmasını talep eden bir mektup gönderdi) (Arka plan eki: OpenAI, yapay zeka profesyonel alanlarının öğrenme doğruluğunu artırmak için Day2'nin gökyüzüne karşı yeni "pekiştirmeli öğrenme ince ayarı" işlevini yayınladı) ChatGPT'nin arkasındaki geliştirici OpenAI, son zamanlarda model sahtekarlığı söylentilerini yayarak teknoloji topluluğunda yaygın tartışmalara neden oldu. Olay, Less Wrong forumunda "Meemi" adlı kar amacı gütmeyen bir kuruluş için bir Epoch AI yüklenicisi tarafından yapılan bir ifşaattan kaynaklandı. Makale, yapay zeka geliştirmeyi test etmek için matematiksel bir kıyaslama test platformu olan FrontierMath'in yalnızca OpenAI tarafından finanse edilmediğini, aynı zamanda FrontierMath'in OpenAI'nin en son o3 modeline "arka kapı açma" ayrıcalığına sahip olduğuna dikkat çekti. Daha fazla oku: OpenAI, o3 modelini piyasaya sürdü! Akıl yürütme yeteneği seviyeyi yükselterek yeni nesil yapay zekanın önünü açıyor Meemi, OpenAI'yi o3 modellerini test etmeden önce soru ve cevap almakla suçluyor Meemi makalede FrontierMath ile ilgili birçok teklifin ve yüklenicinin OpenAI finansmanından habersiz olduğundan bahsetti: FrontierMath için matematik problemleri oluşturan matematikçiler, OpenAI'den gelen fondan (aktif olarak) haberdar edilmedi. Yüklenicilerin, konuları tartışmak için Overleaf, Colab veya e-posta kullanmamak da dahil olmak üzere konuları ve yanıtlarını gizli tutmaları ve konu gizliliğini sağlamak ve ifşa edilmekten kaçınmak için Gizlilik Anlaşmaları (Gizli Protokol) imzalamaları gerekmektedir. Buna ek olarak, müteahhitler 20 Aralık'ta OpenAI'nin finansmanı hakkında bilgilendirilmedi. İmzalı makalelerin bazı yazarlarının bile OpenAI'nin finansmanından habersiz olduğuna inanıyorum. Meemi, OpenAI'nin testten önce FrontierMath'in sorularına ve cevaplarına sahip olduğunu gösteren dolaylı kaynaklara sahip olduğunu da sözlerine ekledi: Şu anda Epoch AI veya OpenAI, OpenAI'nin bu sorulara, cevaplara veya çözümlere erişip erişemeyeceğini kamuya açık bir şekilde belirtmiyor. OpenAI'nin bu soru ve cevaplara sahip olduğunu ve bunları doğrulama testi için kullandığını öne süren dolaylı kaynaklarım var. Epoch AI ve OpenAI'nin bu veri kümesini eğitim için kullanma konusunda protokol kısıtlamaları olup olmadığını bilmiyorum, ancak böyle bir protokolün mevcut olmadığına dair bazı göstergeler var. FrontierMath nedir? FrontierMath'in, Epoch AI ve profesörler, IMO önerileri ve Fields Madalyası kazananlar da dahil olmak üzere dünya çapında 60'tan fazla matematikçi tarafından ortaklaşa başlatılan yeni bir matematiksel ölçüt olduğu anlaşılmaktadır. Orsay'ın zorluğundan matematiğin bugünkü sınırlarına kadar uzanan bu matematiksel problemler, sayılar teorisi ve gerçek sayı analizindeki hesaplama ağırlıklı problemlerden cebirsel geometri ve grup teorisindeki soyut problemlere kadar mevcut matematiksel araştırmaların tüm ana dallarını kapsar. Epoch AI kurucu ortağı özür dilemek için öne çıktı Topluluktaki kargaşa sırasında, Epoch AI kurucu ortağı Tamay Beşiroğlu da 19'unda konuyla ilgili bir özür tweet'i attı ve şunları söyledi: Bir hata yaptık ve OpenAI'nin FrontierMath'e katılımını daha önce açıklamadık. Sözleşmemiz, O3 modeli piyasaya sürülene kadar açıklama yapmamızı kısıtlıyor. Geriye dönüp baktığımızda, daha erken şeffaflık için daha çok çalışmalıydık. Bunu kabul ediyoruz ve gelecekte daha da iyisini yapacağız. Beşiroğlu ayrıca blog yazısında, OpenAI'nin FrontierMass'a erişimi olmasına rağmen, Epoch AI ile "sözlü bir protokole" sahip olduğunu ve AI modellerini eğitmek için FrontierMax'in problem setini kullanmayacağını da sözlerine ekledi. Ek olarak, Epoch AI, FrontierMath Benchmark testinin sonuçlarını bağımsız olarak doğrulamak için ek bir garanti olarak ayrı bir saklama setine sahiptir. OpenAI'nin FrontierMath'e katılımını daha önce açıklamayarak bir hata yaptık. Sözleşmemiz bizi o3'e kadar yasakladı. Geriye dönüp baktığımızda, daha önce şeffaflık için gerçekten zorlamalıydık. Bunu sahipleniyoruz ve daha iyisini yapacağız. — Tamay Beşiroğlu (@tamaybes) 19 Ocak 2025 İlgili Haberler Arthur Hayes: Trump'ın BTC rezervleri oluşturacağını sanmıyorum, Polymarket 100 günlük geçiş olasılığı %36'ya düştü Trump kartı bildirdi mi? Family Merkezi Olmayan Finans projesi WLFI dün gece pozisyonu artırın k milyon dolar BTC, Ethereum, AAVE, ONDO... El Salvador pozisyonuna devam etmek için kredi aldı 12 BTC, IMF protokolü ile çöpe atılmadı "OpenAI en güçlü model o3 "hileye maruz kaldı" test cevaplarını önceden almak için ayrıcalıkları kullandığından şüpheleniliyor, matematiksel yetenek sahtekarlığı mı? Bu makale ilk olarak BlockTempo'nun "Dinamik Trend - En Etkili Blok Chain Haber Medyası" nda yayınlanmıştır.