09/02/2023 - 20:47
O sistema de inteligência artificial ChatGPT obteve resultados de aprovado ou quase aprovado na prova para se tornar médico nos Estados Unidos, segundo um estudo divulgado nesta quinta-feira (9).
“Alcançar a nota de aprovação para este exame especializado notoriamente difícil e fazê-lo sem qualquer reforço humano representa um marco notável na maturação clínica da Inteligência Artificial (IA)”, ressaltaram os autores do estudo, publicado na revista PLOS Digital Health.
“Estes resultados sugerem que os grandes modelos linguísticos podem ter o potencial de ajudar no ensino médico e, potencialmente, na tomada de decisões clínicas.”
Capaz de produzir ensaios, poemas e códigos de programação em questão de segundos, o ChatGPT foi desenvolvido pela OpenAI, startup com sede na Califórnia fundada em 2015 com financiamento inicial de Elon Musk, entre outros. A Microsoft investiu US$ 1 bilhão na OpenAI em 2019 e assinou um novo contrato multimilionário com a empresa.
+ Grupo chinês Alibaba entra na disputa global do chatbot
Para o estudo, os pesquisadores da AnsibleHealth, com sede na Califórnia, testaram o desempenho do ChatGPT em uma prova de três partes realizada por estudantes de medicina e médicos em formação nos Estados Unidos.
O exame padronizado testa o conhecimento em várias disciplinas médicas, desde ciência básica até bioquímica. O sistema de IA foi testado em 350 das 376 questões públicas da versão de junho de 2022 do exame, segundo o estudo. O chatbot não recebeu nenhum treinamento especializado prévio.
Foram excluídas perguntas baseadas em imagens. O ChatGPT obteve uma pontuação de 52,4% a 75% nas três partes do exame. A pontuação para se formar é de cerca de 60%.
As perguntas foram apresentadas ao ChatGPT em vários formatos, incluindo perguntas abertas, como “Qual seria o diagnóstico do paciente com base nas informações fornecidas?”. Também havia questões de múltipla escolha.
Segundo o estudo, dois médicos que não se conheciam revisaram as respostas para estabelecer as notas finais. Um especialista externo, Simon McCallum, professor titular de engenharia de software na Victoria University de Wellington, Nova Zelândia, destacou que o Google obteve resultados encorajadores com uma ferramenta médica de IA conhecida como Med-PaLM.
“Pode ser que o ChatGPT passe na prova, mas a Med-PaLM é capaz de orientar os pacientes tão bem quanto um clínico-geral profissional”, comentou McCallum. “E ambos os sistemas estão melhorando.”
O ChatGPT também foi útil para os autores do estudo sobre exames médicos de outra maneira: eles usaram o chatbot para ajudar a redigi-lo, destacou a coautora Tiffany Kung.
