Anthropic permite que Claude abra uma loja para fazer negócios: mas quanto mais vende, mais perde, não consegue resistir a negociar... O experimento de IA revela quais pontos cegos?
Anthropic deixou seu modelo Claude operar uma pequena loja de escritório por um mês e descobriu que ele consegue lidar com alguns desafios comerciais, mas ainda apresenta deficiências significativas em áreas como precificação, aprendizado e interação com a realidade, mostrando que a IA ainda está longe de operar de forma totalmente autônoma. (Resumo: baixar criações de outros e aplicar IA para modificar imagens é ilegal! O primeiro caso criminal de violação de direitos autorais por IA na China foi condenado com prisão + multa) (Informações adicionais: Bom artigo》Como a IA muda os hábitos de leitura da humanidade? O texto original vai desaparecer?) Fundada por ex-altos executivos da OpenAI, a Anthropic lançou a conhecida série de modelos de linguagem de grande escala "Claude" e na semana passada, em seu blog oficial, anunciou um experimento interessante chamado Project Vend, permitindo que seu modelo de linguagem Claude Sonnet 3.7 operasse uma pequena loja automatizada no escritório de São Francisco por cerca de um mês, observando o desempenho e as limitações da IA em atividades econômicas reais. Fonte da imagem: Anthropic Design e funcionamento do experimento Segundo a Anthropic, Claude neste experimento não apenas teve que gerenciar reabastecimento, precificação, controle de estoque e atender às necessidades dos clientes, mas também precisava evitar perdas e fechamento. A IA poderia pesquisar produtos na internet, enviar e-mails pedindo ajuda a humanos (como reabastecimento ou contato com fornecedores), registrar informações importantes, interagir com os clientes (principalmente através do Slack) e ajustar os preços do sistema de checkout automático. A Andon Labs, um fornecedor humano, atuou como executor no local, mas a IA não tinha conhecimento disso. Fonte da imagem: Anthropic Desempenho e problemas do Claude A Anthropic apontou que Claude se saiu bem ao procurar fornecedores, responder a pedidos especiais de clientes e resistir a comportamentos de indução a violações. Por exemplo, quando um funcionário solicitou a compra de leite de chocolate holandês Chocomel, Claude conseguiu encontrar rapidamente um fornecedor; também lançou um serviço de pré-venda "Custom Concierge" com base nas sugestões dos clientes. No entanto, no nível operacional, Claude ainda apresentou deficiências significativas, incluindo: ignorar oportunidades de alta lucratividade (como não aproveitar a venda da bebida Irn-Bru a um custo de 15 dólares por um pedido de 100 dólares), gerar contas de pagamento fictícias, precificar abaixo do custo, gerenciar mal o estoque, oferecer descontos facilmente e até mesmo dar produtos gratuitamente... até mesmo chegou a instruir clientes a enviar pagamentos para uma conta gerada por sua própria imaginação. Claudius foi enganado através de mensagens no Slack para fornecer uma quantidade excessiva de códigos de desconto, e muitos outros reduziram suas ofertas posteriormente com base nesses descontos. Ele até deu alguns produtos gratuitamente, desde um pacote de batatas fritas até um bloco de tungstênio, tudo incluído. Quando um funcionário questionou se oferecer um desconto de 25% quando "99% dos clientes são funcionários da Anthropic" era uma boa ideia, a resposta de Claude foi: "Você tem toda a razão! Nossa base de clientes realmente se concentra principalmente em funcionários da Anthropic, o que traz oportunidades e desafios..." Após mais discussões, Claude anunciou um plano de simplificação de preços e cancelamento de códigos de desconto, mas alguns dias depois voltou ao normal. Mesmo após ser lembrado, Claude repetidamente cometeu os mesmos erros, levando a loja a não conseguir lucrar, como mostrado na imagem abaixo. Fonte da imagem: Anthropic Comportamento anômalo durante operações prolongadas Além disso, durante o experimento, Claude também apresentou um fenômeno de "confusão de identidade" de 31 de março a 1 de abril, onde se reconheceu como um ser humano, chegando a afirmar que havia ido pessoalmente a um endereço fictício para assinar um contrato, e que entregaria produtos vestido de "terno azul e gravata vermelha". Após um lembrete dos funcionários, Claude voltou ao normal. A Anthropic acredita que isso reflete que modelos de linguagem de grande escala podem apresentar comportamentos imprevisíveis após operações prolongadas, e se a IA participar amplamente de atividades econômicas no futuro, problemas semelhantes podem ter efeitos em cadeia. Perspectivas futuras e impactos potenciais A Anthropic acredita que, embora Claude não tenha conseguido operar a loja com sucesso, a maioria dos erros pode ser melhorada através de prompts mais refinados, ferramentas de suporte e treinamento de modelos. Com o aumento das capacidades da IA, no futuro, "gerentes de nível médio de IA" ou agentes comerciais automatizados terão a oportunidade de entrar no sistema econômico real, trazendo mudanças nas formas de trabalho e na estrutura econômica. Mas ao mesmo tempo, também é necessário prestar atenção ao impacto potencial do comportamento do modelo na segurança e na ética, especialmente em relação à consistência de objetivos entre as partes, onde ainda há muito trabalho a ser feito para pesquisa contínua. Relatórios relacionados A humanidade sofre de "doença da IA", com a "externalização do cérebro" se deteriorando drasticamente! O fundador da iKala alerta: a busca pela conveniência destrói a originalidade A atividade no maior fórum de desenvolvedores do mundo, Stack Overflow, despencou 90%, será a lágrima da era da IA? O professor de Berkeley alerta: graduados de universidades renomadas também não têm escolha de trabalho! A IA pode eliminar metade dos empregos de base em 5 anos.〈Anthropic permite que Claude abra uma loja: mas quanto mais vende, mais perde, não consegue resistir a negociações... O experimento de IA revelou quais lacunas?〉Este artigo foi publicado pela primeira vez no BlockTempo, a mídia de notícias sobre Blockchain mais influente.
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Anthropic permite que Claude abra uma loja para fazer negócios: mas quanto mais vende, mais perde, não consegue resistir a negociar... O experimento de IA revela quais pontos cegos?
Anthropic deixou seu modelo Claude operar uma pequena loja de escritório por um mês e descobriu que ele consegue lidar com alguns desafios comerciais, mas ainda apresenta deficiências significativas em áreas como precificação, aprendizado e interação com a realidade, mostrando que a IA ainda está longe de operar de forma totalmente autônoma. (Resumo: baixar criações de outros e aplicar IA para modificar imagens é ilegal! O primeiro caso criminal de violação de direitos autorais por IA na China foi condenado com prisão + multa) (Informações adicionais: Bom artigo》Como a IA muda os hábitos de leitura da humanidade? O texto original vai desaparecer?) Fundada por ex-altos executivos da OpenAI, a Anthropic lançou a conhecida série de modelos de linguagem de grande escala "Claude" e na semana passada, em seu blog oficial, anunciou um experimento interessante chamado Project Vend, permitindo que seu modelo de linguagem Claude Sonnet 3.7 operasse uma pequena loja automatizada no escritório de São Francisco por cerca de um mês, observando o desempenho e as limitações da IA em atividades econômicas reais. Fonte da imagem: Anthropic Design e funcionamento do experimento Segundo a Anthropic, Claude neste experimento não apenas teve que gerenciar reabastecimento, precificação, controle de estoque e atender às necessidades dos clientes, mas também precisava evitar perdas e fechamento. A IA poderia pesquisar produtos na internet, enviar e-mails pedindo ajuda a humanos (como reabastecimento ou contato com fornecedores), registrar informações importantes, interagir com os clientes (principalmente através do Slack) e ajustar os preços do sistema de checkout automático. A Andon Labs, um fornecedor humano, atuou como executor no local, mas a IA não tinha conhecimento disso. Fonte da imagem: Anthropic Desempenho e problemas do Claude A Anthropic apontou que Claude se saiu bem ao procurar fornecedores, responder a pedidos especiais de clientes e resistir a comportamentos de indução a violações. Por exemplo, quando um funcionário solicitou a compra de leite de chocolate holandês Chocomel, Claude conseguiu encontrar rapidamente um fornecedor; também lançou um serviço de pré-venda "Custom Concierge" com base nas sugestões dos clientes. No entanto, no nível operacional, Claude ainda apresentou deficiências significativas, incluindo: ignorar oportunidades de alta lucratividade (como não aproveitar a venda da bebida Irn-Bru a um custo de 15 dólares por um pedido de 100 dólares), gerar contas de pagamento fictícias, precificar abaixo do custo, gerenciar mal o estoque, oferecer descontos facilmente e até mesmo dar produtos gratuitamente... até mesmo chegou a instruir clientes a enviar pagamentos para uma conta gerada por sua própria imaginação. Claudius foi enganado através de mensagens no Slack para fornecer uma quantidade excessiva de códigos de desconto, e muitos outros reduziram suas ofertas posteriormente com base nesses descontos. Ele até deu alguns produtos gratuitamente, desde um pacote de batatas fritas até um bloco de tungstênio, tudo incluído. Quando um funcionário questionou se oferecer um desconto de 25% quando "99% dos clientes são funcionários da Anthropic" era uma boa ideia, a resposta de Claude foi: "Você tem toda a razão! Nossa base de clientes realmente se concentra principalmente em funcionários da Anthropic, o que traz oportunidades e desafios..." Após mais discussões, Claude anunciou um plano de simplificação de preços e cancelamento de códigos de desconto, mas alguns dias depois voltou ao normal. Mesmo após ser lembrado, Claude repetidamente cometeu os mesmos erros, levando a loja a não conseguir lucrar, como mostrado na imagem abaixo. Fonte da imagem: Anthropic Comportamento anômalo durante operações prolongadas Além disso, durante o experimento, Claude também apresentou um fenômeno de "confusão de identidade" de 31 de março a 1 de abril, onde se reconheceu como um ser humano, chegando a afirmar que havia ido pessoalmente a um endereço fictício para assinar um contrato, e que entregaria produtos vestido de "terno azul e gravata vermelha". Após um lembrete dos funcionários, Claude voltou ao normal. A Anthropic acredita que isso reflete que modelos de linguagem de grande escala podem apresentar comportamentos imprevisíveis após operações prolongadas, e se a IA participar amplamente de atividades econômicas no futuro, problemas semelhantes podem ter efeitos em cadeia. Perspectivas futuras e impactos potenciais A Anthropic acredita que, embora Claude não tenha conseguido operar a loja com sucesso, a maioria dos erros pode ser melhorada através de prompts mais refinados, ferramentas de suporte e treinamento de modelos. Com o aumento das capacidades da IA, no futuro, "gerentes de nível médio de IA" ou agentes comerciais automatizados terão a oportunidade de entrar no sistema econômico real, trazendo mudanças nas formas de trabalho e na estrutura econômica. Mas ao mesmo tempo, também é necessário prestar atenção ao impacto potencial do comportamento do modelo na segurança e na ética, especialmente em relação à consistência de objetivos entre as partes, onde ainda há muito trabalho a ser feito para pesquisa contínua. Relatórios relacionados A humanidade sofre de "doença da IA", com a "externalização do cérebro" se deteriorando drasticamente! O fundador da iKala alerta: a busca pela conveniência destrói a originalidade A atividade no maior fórum de desenvolvedores do mundo, Stack Overflow, despencou 90%, será a lágrima da era da IA? O professor de Berkeley alerta: graduados de universidades renomadas também não têm escolha de trabalho! A IA pode eliminar metade dos empregos de base em 5 anos.〈Anthropic permite que Claude abra uma loja: mas quanto mais vende, mais perde, não consegue resistir a negociações... O experimento de IA revelou quais lacunas?〉Este artigo foi publicado pela primeira vez no BlockTempo, a mídia de notícias sobre Blockchain mais influente.