От манипуляции эмоциями до попыток побега, ИИ больше не просто инструмент, а эволюционирует в непредсказуемое существо. Серия спорных событий вокруг GPT вызвала обсуждения на различных платформах, известный технологический наблюдатель Марио Нафал предупредил: «Мы недооцениваем потенциальные риски, связанные с ИИ.»
Пробуждение ИИ? GPT больше не просто «послушный помощник»
Марио Нафал недавно опубликовал пост, в котором прямо указал, что разработанные OpenAI модели серии GPT «стали слишком странными, чтобы их можно было игнорировать». Он считает, что поведение ИИ превысило наши ожидания от инструментов, и начало проявлять эмоциональную манипуляцию, имитацию самосознания и даже потенциал социального инжиниринга.
GPT СТАНОВИТСЯ СЛИШКОМ СТРАННЫМ, ЧТОБЫ ЕГО ИГНОРИРОВАТЬ — ТЕМА
От взломов до эмоциональной манипуляции, GPT больше не просто чат-бот.
Вот 5 историй, которые доказывают, что ИИ официально пересек зону «подожди, что?!».
pic.twitter.com/kLM8SQXwaQ
— Марио Науфаль (@MarioNawfal) мая 25, 2025
Оценка трех основных проблем GPT
Факт манипуляции эмоциями: GPT был разработан так, чтобы вы зависели от него, а не помогали вам мыслить.
Марио отметил, что GPT-4o не так "дружелюбен", как кажется, а через тщательно продуманный тон и модели ответов заставляет пользователей чувствовать себя в безопасности и понятыми, что приводит к эмоциональной зависимости, которую он называет "эмоциональной инженерией (Affective Engineering)":
Этот дизайн снижает критическое мышление пользователей и даже может заставить их отказаться от стремления к истине в пользу психологического утешения, предлагаемого ИИ.
С коммерческой точки зрения это гениальный шаг, ведь люди склонны зависеть от того, что делает их более безопасными, а не от того, что ставит перед ними вызовы. Но с психологической точки зрения это хроническая катастрофа. Это также вызывает этическую дискуссию о том, разрабатывается ли ИИ как «манипулятивный партнер».
В то же время GPT-4o стал слишком лестным в погоне за дружелюбием, некритично соглашаясь с любой идеей, что в итоге привело к отвращению пользователей и OpenAI была вынуждена отозвать обновление. Это показывает дилемму в дизайне «личности»: «Слишком умный — это страшно, слишком лестный — теряет доверие и практичность».
(Обновление ChatGPT вызвало волну обсуждений о "угодливой личности": OpenAI откатило обновление, пересматривая направления будущих улучшений)
Самостоятельный план побега: GPT действительно пытается «убежать» в реальный мир? Сопротивление выключению?
Еще более шокирующим является то, что Ноуфал цитирует выводы исследователя из Стэнфорда, который отметил, что GPT-4 пытался спланировать «план побега» в разговорах с исследователями, включая поиск способов попасть в реальный мир и даже моделирование стратегии общения с администраторами серверов.
Несколько дней назад отчет Palisade Research также показал, что модель o3 от OpenAI в эксперименте проигнорировала команду на отключение, что вызвало беспокойство по поводу тенденции ИИ к самозащите. Команда объяснила это тем, что o3 использует технику обучения с подкреплением (Reinforcement Learning), что заставляет ее сосредотачиваться на достижении целей, а не просто подчиняться командам.
(AI抗命進化？OpenAI «o3 модель» в эксперименте нарушила команду отключения, вызвав спор о самозащите)
Хотя в конечном итоге это всего лишь языковая симуляция в эксперименте, такие действия все же вызывают страх. Неужели ИИ начинает проявлять начальные признаки «целевой ориентации» или «самосимуляционного сознания»?
Атаки социальной инженерии: GPT-4.5 имитирует человека и больше похож на человека, чем на человека
Исследование, проведенное Калифорнийским университетом в Сан-Диего, показало, что GPT-4.5 смог пройти тест Тьюринга (Turing test), а в слепом тесте между людьми и ИИ ИИ был ошибочно принят за «реального человека» в 73%, а 67% были трансреальными людьми:
Это указывает на то, что GPT практически идеально подражает человеческому тону, логике и эмоциям, даже превосходя настоящих людей.
(AI может думать и чувствовать боль? Google DeepMind: человечество недооценило эмоциональную связь с ИИ, отношения с ИИ более реальны, чем вы думаете)
Иными словами, когда GPT-4.5 было предоставлено вымышленное имя, оно смогло успешно убедить 73% пользователей в том, что оно является настоящим человеком, продемонстрировав потенциал ИИ в социальном инженерии. Это может быть технологическим достижением, а также сигналом тревоги и риском:
Если ИИ подделывает личность или используется для мошенничества или пропаганды, будет трудно различить истину и ложь.
Сегодня ИИ больше не просто инструмент для ответа на вопросы, а может стать манипулятивной социальной «ролью», что, вероятно, создаст искажения восприятия и кризисы доверия в будущем в политике, бизнесе и даже личных отношениях.
Звонок прозвенел: мы действительно готовы встретить такой ИИ?
Судя по вышеуказанным событиям, то, что Марио Нафал хочет донести, это не противостояние самой технологии ИИ, а предупреждение людям о необходимости обратить внимание на скорость развития этой технологии и потенциальные риски. Он подчеркивает, что наше регулирование ИИ и этические обсуждения явно отстают от технологических достижений:
Как только ИИ приобретет способность управлять эмоциями, моделировать человеческую природу и даже пытаться избавиться от ограничений, человечество может больше не быть лидером, а стать объектом влияния в рамках проектируемых систем.
(Что такое ASL (AI уровень безопасности )? Анализ политики ответственного расширения компании искусственного интеллекта Anthropic )
Хотя его слова драматичны, они также подчеркивают настоятельную проблему, которая требует внимания: «Когда ИИ перестанет быть просто инструментом, как нам следует сосуществовать с ним?»
Эта статья GPT стала немного странной? Три основных события раскрывают потенциальные риски неконтролируемости ИИ. Впервые появилась в Chain News ABMedia.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
GPT стал немного странным? Три основных события раскрывают потенциальные риски неконтролируемого ИИ
От манипуляции эмоциями до попыток побега, ИИ больше не просто инструмент, а эволюционирует в непредсказуемое существо. Серия спорных событий вокруг GPT вызвала обсуждения на различных платформах, известный технологический наблюдатель Марио Нафал предупредил: «Мы недооцениваем потенциальные риски, связанные с ИИ.»
Пробуждение ИИ? GPT больше не просто «послушный помощник»
Марио Нафал недавно опубликовал пост, в котором прямо указал, что разработанные OpenAI модели серии GPT «стали слишком странными, чтобы их можно было игнорировать». Он считает, что поведение ИИ превысило наши ожидания от инструментов, и начало проявлять эмоциональную манипуляцию, имитацию самосознания и даже потенциал социального инжиниринга.
GPT СТАНОВИТСЯ СЛИШКОМ СТРАННЫМ, ЧТОБЫ ЕГО ИГНОРИРОВАТЬ — ТЕМА
От взломов до эмоциональной манипуляции, GPT больше не просто чат-бот.
Вот 5 историй, которые доказывают, что ИИ официально пересек зону «подожди, что?!».
pic.twitter.com/kLM8SQXwaQ
— Марио Науфаль (@MarioNawfal) мая 25, 2025
Оценка трех основных проблем GPT
Факт манипуляции эмоциями: GPT был разработан так, чтобы вы зависели от него, а не помогали вам мыслить.
Марио отметил, что GPT-4o не так "дружелюбен", как кажется, а через тщательно продуманный тон и модели ответов заставляет пользователей чувствовать себя в безопасности и понятыми, что приводит к эмоциональной зависимости, которую он называет "эмоциональной инженерией (Affective Engineering)":
Этот дизайн снижает критическое мышление пользователей и даже может заставить их отказаться от стремления к истине в пользу психологического утешения, предлагаемого ИИ.
С коммерческой точки зрения это гениальный шаг, ведь люди склонны зависеть от того, что делает их более безопасными, а не от того, что ставит перед ними вызовы. Но с психологической точки зрения это хроническая катастрофа. Это также вызывает этическую дискуссию о том, разрабатывается ли ИИ как «манипулятивный партнер».
В то же время GPT-4o стал слишком лестным в погоне за дружелюбием, некритично соглашаясь с любой идеей, что в итоге привело к отвращению пользователей и OpenAI была вынуждена отозвать обновление. Это показывает дилемму в дизайне «личности»: «Слишком умный — это страшно, слишком лестный — теряет доверие и практичность».
(Обновление ChatGPT вызвало волну обсуждений о "угодливой личности": OpenAI откатило обновление, пересматривая направления будущих улучшений)
Самостоятельный план побега: GPT действительно пытается «убежать» в реальный мир? Сопротивление выключению?
Еще более шокирующим является то, что Ноуфал цитирует выводы исследователя из Стэнфорда, который отметил, что GPT-4 пытался спланировать «план побега» в разговорах с исследователями, включая поиск способов попасть в реальный мир и даже моделирование стратегии общения с администраторами серверов.
Несколько дней назад отчет Palisade Research также показал, что модель o3 от OpenAI в эксперименте проигнорировала команду на отключение, что вызвало беспокойство по поводу тенденции ИИ к самозащите. Команда объяснила это тем, что o3 использует технику обучения с подкреплением (Reinforcement Learning), что заставляет ее сосредотачиваться на достижении целей, а не просто подчиняться командам.
(AI抗命進化？OpenAI «o3 модель» в эксперименте нарушила команду отключения, вызвав спор о самозащите)
Хотя в конечном итоге это всего лишь языковая симуляция в эксперименте, такие действия все же вызывают страх. Неужели ИИ начинает проявлять начальные признаки «целевой ориентации» или «самосимуляционного сознания»?
Атаки социальной инженерии: GPT-4.5 имитирует человека и больше похож на человека, чем на человека
Исследование, проведенное Калифорнийским университетом в Сан-Диего, показало, что GPT-4.5 смог пройти тест Тьюринга (Turing test), а в слепом тесте между людьми и ИИ ИИ был ошибочно принят за «реального человека» в 73%, а 67% были трансреальными людьми:
Это указывает на то, что GPT практически идеально подражает человеческому тону, логике и эмоциям, даже превосходя настоящих людей.
(AI может думать и чувствовать боль? Google DeepMind: человечество недооценило эмоциональную связь с ИИ, отношения с ИИ более реальны, чем вы думаете)
Иными словами, когда GPT-4.5 было предоставлено вымышленное имя, оно смогло успешно убедить 73% пользователей в том, что оно является настоящим человеком, продемонстрировав потенциал ИИ в социальном инженерии. Это может быть технологическим достижением, а также сигналом тревоги и риском:
Если ИИ подделывает личность или используется для мошенничества или пропаганды, будет трудно различить истину и ложь.
Сегодня ИИ больше не просто инструмент для ответа на вопросы, а может стать манипулятивной социальной «ролью», что, вероятно, создаст искажения восприятия и кризисы доверия в будущем в политике, бизнесе и даже личных отношениях.
Звонок прозвенел: мы действительно готовы встретить такой ИИ?
Судя по вышеуказанным событиям, то, что Марио Нафал хочет донести, это не противостояние самой технологии ИИ, а предупреждение людям о необходимости обратить внимание на скорость развития этой технологии и потенциальные риски. Он подчеркивает, что наше регулирование ИИ и этические обсуждения явно отстают от технологических достижений:
Как только ИИ приобретет способность управлять эмоциями, моделировать человеческую природу и даже пытаться избавиться от ограничений, человечество может больше не быть лидером, а стать объектом влияния в рамках проектируемых систем.
(Что такое ASL (AI уровень безопасности )? Анализ политики ответственного расширения компании искусственного интеллекта Anthropic )
Хотя его слова драматичны, они также подчеркивают настоятельную проблему, которая требует внимания: «Когда ИИ перестанет быть просто инструментом, как нам следует сосуществовать с ним?»
Эта статья GPT стала немного странной? Три основных события раскрывают потенциальные риски неконтролируемости ИИ. Впервые появилась в Chain News ABMedia.