Um estudo da Universidade de Stanford mostra que o ChatGPT supera estudantes de medicina em questões complexas baseadas em casos clínicos, levando a uma revisão da educação médica.
Pesquisadores em Stanford descobriram que o ChatGPT pode ter um desempenho superior ao de estudantes de medicina do primeiro e segundo ano ao responder perguntas complexas sobre cuidados clínicos.
O estudo, publicado na JAMA Internal Medicine, destaca a crescente influência da IA na educação e prática médica, sugerindo que ajustes nos métodos de ensino podem ser necessários para os médicos do futuro.
“Não queremos médicos que dependam tanto da IA na escola a ponto de não conseguirem raciocinar casos por conta própria”, diz a co-autora Alicia DiGiammarino, gerente de educação na Escola de Medicina. “Mas tenho mais medo de um mundo onde os médicos não sejam treinados para usar a IA de forma eficaz e a encontrem amplamente na prática moderna.”
IA supera estudantes de medicina
Estudos recentes têm demonstrado a capacidade do ChatGPT em lidar com questões de múltipla escolha no Exame de Licença Médica dos Estados Unidos (USMLE). No entanto, os autores de Stanford queriam examinar a capacidade do sistema de IA em lidar com questões mais difíceis e abertas, usadas para avaliar habilidades de raciocínio clínico.
O estudo constatou que, em média, o modelo de IA obteve uma pontuação mais de quatro pontos acima dos estudantes de medicina na parte de relatórios de casos do exame. Esse resultado sugere o potencial de ferramentas de IA como o ChatGPT em perturbar o ensino e a avaliação tradicionais do raciocínio médico por meio de texto escrito. Os pesquisadores também observaram um salto significativo em relação ao GPT-3.5, que estava “apenas na linha de aprovação” nas questões.
O ChatGPT e outros programas semelhantes estão mudando a forma como ensinamos e, em última instância, praticamos a medicina.
Alicia DiGiammarino
Apesar de seu desempenho impressionante, o ChatGPT não está isento de falhas. O maior perigo é a criação de fatos inventados, também conhecidos como alucinações ou confabulações. Isso foi significativamente reduzido no último modelo da OpenAI, o GPT-4, que está disponível para clientes pagantes e por meio da API, mas ainda está presente.
É possível imaginar como até mesmo erros muito esporádicos podem ter consequências dramáticas quando se trata de assuntos médicos. No entanto, inserido em um currículo global com múltiplas fontes confiáveis, esse problema parece ser muito menor.
A Escola de Medicina de Stanford corta acesso dos alunos ao ChatGPT durante exames
Preocupações com a integridade dos exames e a influência do ChatGPT no design do currículo já estão sendo sentidas na Escola de Medicina de Stanford. Os administradores mudaram de exames abertos para exames fechados para garantir que os alunos desenvolvam habilidades de raciocínio clínico sem depender da IA. No entanto, eles também criaram um grupo de trabalho de IA para explorar a integração de ferramentas de IA na educação médica.
Além da educação, existem outras áreas em que a IA pode ter um impacto significativo na área da saúde. Por exemplo, a startup médica de IA Insilico Medicine recentemente administrou a primeira dose de um medicamento gerado por IA generativa a pacientes em um ensaio clínico de Fase II.
A Google está realizando testes de campo com o Med-PaLM 2, uma versão de seu grande modelo de linguagem PaLM 2 ajustada para responder a perguntas médicas. Outro estudo sugere que o GPT-4 pode ajudar os médicos a responder às perguntas dos pacientes com mais detalhes e empatia. Sim, você leu isso corretamente: mais empatia. Com informações do The Decoder.
