Модель OpenAI o3, которая считается самой мощной, подозревается в мошенничестве, поскольку она, предположительно, использовала привилегии для получения ответов на тесты заранее. Математическая способность подделана?

Недавно некоммерческая организация под названием «Meemi» Epoch AI contractor опубликовала новость о том, что OpenAI, разработчик ChatGPT, в частном порядке профинансировал разработку ИИ для тестовой платформы математики Бенчмарк FrontierMath и имеет привилегию получить вопросы и ответы теста FrontierMath, помогая своей последней модели o3 получить высокий балл на тесте. (Синопсис: Хотите управлять ChatGPT? Маск направил письмо генеральному инспектору с требованием провести обязательный аукцион акций OpenAI) (Справочное дополнение: OpenAI выпустила новую функцию Day2 по «тонкой настройке обучения с подкреплением» против неба, чтобы повысить точность обучения в профессиональных областях ИИ) OpenAI, разработчик ChatGPT, недавно распространил слухи о мошенничестве с моделями, вызвав широкую дискуссию в технологическом сообществе. Инцидент возник из-за разоблачения подрядчика Epoch AI для некоммерческой организации под названием «Meemi» на форуме Less Wrong. В статье отмечается, что FrontierMath, математическая тестовая платформа для тестирования разработки ИИ, не только финансируется OpenAI, но и имеет привилегию «открыть черный ход» для новейшей модели OpenAI o3. Подробнее: OpenAI выпускает модель o3! Способность к рассуждению поднимает уровень, прокладывая путь к следующему поколению ИИ Мими обвиняет OpenAI в получении вопросов и ответов перед тестированием моделей o3 Мими упомянул в статье, что многие предложения, связанные с FrontierMath, и подрядчики не знали о финансировании OpenAI: Математики, создавшие математические задачи для FrontierMath, не были (активно) проинформированы о финансировании со стороны OpenAI. Подрядчики обязаны сохранять конфиденциальность тем и своих ответов, в том числе не использовать Overleaf, Colab или электронную почту для обсуждения тем, а также подписывать NDA (конфиденциальный протокол) для обеспечения конфиденциальности темы и предотвращения утечки. Кроме того, 20 декабря подрядчики не были проинформированы о финансировании OpenAI. Полагаю, что даже некоторые из авторов подписанных бумаг не знают о финансировании OpenAI. Далее Мими добавил, что у него есть косвенные источники, указывающие на то, что у OpenAI были вопросы и ответы FrontierMath до тестирования: В настоящее время Epoch AI или OpenAI публично не указывает, сможет ли OpenAI получить доступ к этим вопросам, ответам или решениям. У меня есть косвенные источники, которые предполагают, что OpenAI владеет этими вопросами и ответами и использует их для валидационного тестирования. Я не знаю, есть ли у Epoch AI и OpenAI ограничение на использование этого набора данных для обучения, но есть некоторые признаки того, что такого протокола не существует. Что такое FrontierMath? Понятно, что FrontierMath — это новый математический Бенчмарк, совместно запущенный Epoch AI и более чем 60 математиками по всему миру, включая профессоров, специалистов по предложениям IMO и лауреатов Филдсовской медали. Эти математические проблемы, начиная от сложности Орсе и заканчивая сегодняшними границами математики, охватывают все основные разделы современных математических исследований — от ресурсоемких задач в теории чисел и анализе вещественных чисел до абстрактных задач алгебраической геометрии и теории групп. Соучредитель Epoch AI выступил с извинениями Во время шумихи в сообществе соучредитель Epoch AI Тамай Бесироглу также написал в Твиттере извинения за этот вопрос 19-го числа, заявив: Мы допустили ошибку и не раскрыли участие OpenAI в FrontierMath ранее. Наш контракт запрещает нам разглашать информацию до тех пор, пока не будет выпущена модель O3. Оглядываясь назад, можно сказать, что мы должны были усерднее работать над более ранней прозрачностью. Мы признаем это и будем работать еще лучше в будущем. Бесироглу также добавил в своем блоге, что, хотя OpenAI имеет доступ к FrontierMass, у нее есть «устный протокол» между ней и Epoch AI, и она не будет использовать набор задач FrontierMath для обучения моделей ИИ. Кроме того, у Epoch AI есть отдельный набор удержаний в качестве дополнительной гарантии для независимой проверки результатов теста FrontierMath Бенчмарк. Мы допустили ошибку, не раскрыв участие OpenAI в FrontierMath раньше. Наш контракт запрещал нам работать до 3 часов. Оглядываясь назад, можно сказать, что мы должны были добиваться более ранней прозрачности. Мы владеем этим и будем делать лучше. — Тамай Бесироглу (@tamaybes) 19 января 2025 г. Материалы по теме Артур Хейс: Я не думаю, что Трамп будет наращивать резервы BTC, вероятность 100-дневного прохода Polymarket упала до 36% Трамп сообщил о карте? Семья Децентрализованные финансы Проект WLFI вчера вечером увеличьте позицию миллионов долларов BTC, Ethereum, AAVE, ONDO.. Сальвадор взял кредит, чтобы продолжить увеличьте позицию 12 BTC, не скидывать МВФ Протокол «Сильнейшая модель OpenAI o3 «разоблачена в мошенничестве» подозревается в использовании привилегий для получения ответов на тесты заранее, мошенничество с математическими способностями? Эта статья была впервые опубликована в BlockTempo "Dynamic Trend - The Most Influence Block Chain News Media".