Le modèle le plus puissant d'OpenAI o3 a été "triché" en présumant qu'il utilisait des privilèges pour obtenir les réponses aux tests de mathématiques. Fausse capacité mathématique?

Récemment, le sous-traitant d’Epoch AI, une organisation à but non lucratif appelée « Meemi », a publié sur le forum Less Wrong qu’OpenAI, le développeur derrière ChatGPT, a financé à titre privé la plate-forme de test de référence mathématique pour le développement de l’IA FrontierMath, et a eu le privilège d’obtenir les questions et les réponses du test FrontierMath pour aider son dernier modèle o3 à obtenir un score élevé au test. (Synopsis : Vous voulez contrôler ChatGPT ? Musk a envoyé une lettre à l’inspecteur général exigeant une vente aux enchères obligatoire des actions OpenAI) (Supplément de contexte : OpenAI a publié la nouvelle fonction de Day2 de « réglage fin de l’apprentissage par renforcement » contre le ciel pour améliorer la précision de l’apprentissage des domaines professionnels de l’IA) OpenAI, le développeur derrière ChatGPT, a récemment répandu des rumeurs de fraude de modèle, provoquant de nombreuses discussions dans la communauté technologique. L’incident est né d’une révélation faite par un sous-traitant d’Epoch AI pour une organisation à but non lucratif nommée « Meemi » sur le forum Less Wrong. L’article soulignait que FrontierMath, une plate-forme de test mathématique de référence pour tester le développement de l’IA, a non seulement été financée par OpenAI, mais que FrontierMath a le privilège d'« ouvrir une porte dérobée » vers le dernier modèle o3 d’OpenAI. Lire la suite : OpenAI lance le modèle o3 ! La capacité de raisonnement pousse le niveau supérieur, ouvrant la voie à la prochaine génération d’IA Meemi accuse OpenAI d’obtenir des questions et des réponses avant de tester les modèles o3 Meemi a mentionné dans l’article que de nombreuses propositions et sous-traitants liés à FrontierMath n’étaient pas au courant du financement d’OpenAI : Les mathématiciens qui ont créé des problèmes mathématiques pour FrontierMath n’ont pas été (activement) informés du financement d’OpenAI. Les sous-traitants sont tenus de préserver la confidentialité des sujets et de leurs réponses, notamment de ne pas discuter des sujets au verso ou par courrier électronique, et de signer des protocoles confidentiels (NDA) pour assurer la confidentialité des sujets et éviter la divulgation. De plus, les entrepreneurs n’ont pas été informés du financement d’OpenAI le 20 décembre. Je crois que même certains des auteurs des articles signés ne sont pas au courant du financement d’OpenAI. Meemi a poursuivi en ajoutant qu’il avait des sources indirectes indiquant qu’OpenAI avait les questions et réponses de FrontierMath avant les tests : Actuellement, Epoch AI ou OpenAI n’indique pas publiquement si OpenAI sera en mesure d’accéder à ces questions, réponses ou solutions. J’ai des sources indirectes qui suggèrent qu’OpenAI possède ces questions et réponses et les utilise pour les tests de validation. Je ne sais pas si Epoch AI et OpenAI ont des restrictions de protocole sur l’utilisation de cet ensemble de données pour l’entraînement, mais il y a des indications que de tels protocoles n’existent pas. Qu’est-ce que FrontierMath ? Il est entendu que FrontierMath est une nouvelle référence mathématique lancée conjointement par Epoch AI et plus de 60 mathématiciens du monde entier, y compris des professeurs, des proposants de l’OMI et des lauréats de la médaille Fields. Ces problèmes mathématiques, allant de la difficulté d’Orsay aux frontières actuelles des mathématiques, englobent toutes les grandes branches de la recherche mathématique actuelle, des problèmes à forte intensité de calcul en théorie des nombres et en analyse des nombres réels aux problèmes abstraits de géométrie algébrique et de théorie des groupes. Le cofondateur d’Epoch AI s’est présenté pour s’excuser Au moment du tollé dans la communauté, le cofondateur d’Epoch AI, Tamay Besiroglu, a également tweeté des excuses pour l’affaire le 19, en disant : Nous avons fait une erreur et n’avons pas divulgué la participation d’OpenAI à FrontierMath plus tôt. Notre contrat nous interdit de divulguer jusqu’à ce que le modèle O3 soit commercialisé. Avec le recul, nous aurions dû redoubler d’efforts pour assurer la transparence plus tôt. Nous en sommes conscients et nous ferons encore mieux à l’avenir. Besiroglu a également ajouté sur son blog que, bien qu’OpenAI ait accès à FrontierMass, il a un « protocole verbal » avec Epoch AI qui n’utilise pas l’ensemble de problèmes de FrontierMax pour entraîner des modèles d’IA. De plus, Epoch AI dispose d’un ensemble de rétention séparé comme garantie supplémentaire pour vérifier de manière indépendante les résultats du test FrontierMath Benchmark. Nous avons fait une erreur en ne divulguant pas plus tôt l’implication d’OpenAI dans FrontierMath. Notre contrat nous interdisait jusqu’à environ o3. Avec le recul, nous aurions vraiment dû insister pour que la transparence soit plus précoce. Nous l’assumons et nous ferons mieux. — Tamay Besiroglu (@tamaybes) January 19, 2025 Articles connexes Arthur Hayes : Je ne pense pas que Trump construira des réserves de BTC, la probabilité de réussite à 100 jours de Polymarket tombe à 36 % Trump a déclaré la carte ? Family Finance décentralisée project WLFI hier soir augmenter la position k$ BTC, Ethereum, AAVE, ONDO. El Salvador a pris le prêt pour continuer à augmenter la position 12 BTC, ne pas jeter le protocole du FMI « OpenAI le modèle le plus fort o3 « tricherie exposée » soupçonné d’utiliser des privilèges pour obtenir des réponses aux tests à l’avance, fraude à la capacité mathématique ? Cet article a été publié pour la première fois dans « Dynamic Trend - The Most Influential Bloc Chain News Media » de BlockTempo.