ChatGPT falha em 52% das respostas de programação, diz estudo

Os chatbots de inteligência artificial, como o ChatGPT da OpenAI, têm sido apresentados como ferramentas promissoras que prometem aumentar a eficiência no trabalho. No entanto, um estudo recente da Universidade de Purdue descobriu que o ChatGPT erra 52% das respostas a perguntas de programação.

A pesquisa, apresentada na Conferência de Interação Humano-Computador no Havaí, examinou 517 perguntas de programação do Stack Overflow, que foram submetidas ao ChatGPT.

LEIA MAIS: Cientista propõe o 1° sistema de transplante de cabeça do mundo – Veja a simulação!

Resultados surpreendentes

Os dados do estudo indicam que 52% das respostas do ChatGPT continham erros e 77% eram consideradas prolixas. Mesmo assim, 35% dos participantes preferiram as respostas do ChatGPT, devido ao seu estilo de linguagem claro e detalhado. Além disso, 39% dos programadores não conseguiram identificar os erros nas respostas fornecidas pelo chatbot.

Embora as respostas sejam bem formuladas, ainda assim a precisão é uma preocupação relevante. Além disso, a incapacidade de detectar erros pode levar a problemas maiores, especialmente em contextos técnicos mais complexos.

Investimentos e desafios na IA

Empresas como Meta, Microsoft e Google estão investindo pesadamente em inteligência artificial para criar chatbots mais precisos e confiáveis. No entanto, a IA ainda enfrenta dificuldades, particularmente com perguntas mais específicas ou complexas. O novo sistema de busca da Google, alimentado por IA, também tem apresentado problemas ao fornecer informações de fontes pouco confiáveis.

LEIA MAIS: Separamos os 10 melhores usos para GPT-4o do ChatGPT – Confira!

Nesse sentido, o Google defende que as respostas erradas são casos isolados e que a maioria das consultas com IA oferece informações precisas. Contudo, a promessa de ferramentas inovadoras implica que os usuários esperam respostas confiáveis para todos os tipos de perguntas, não apenas para as mais comuns.

Desse modo, o estudo da Universidade de Purdue destaca problemas críticos na utilização de chatbots de IA como o ChatGPT para consultas técnicas. Apesar do potencial transformador dessas ferramentas, a precisão ainda é um grande desafio. Os usuários precisam estar cientes das limitações das respostas fornecidas pela IA e adotar uma visão crítica ao utilizá-las, especialmente em áreas técnicas como a programação ou saúde.