O Google Cloud anuncia que o Med-PaLM 2 será lançado para selecionar os clientes do Google Cloud para um “teste limitado” nas próximas semanas. O objetivo, diz a empresa, é explorar cenários de uso seguros, responsáveis e significativos.
O modelo de linguagem médica poderia “facilitar discussões ricas e informativas, responder a perguntas médicas complexas e encontrar insights em textos médicos complicados e não estruturados”, de acordo com o Google. Também pode gerar respostas curtas e longas para perguntas médicas e criar resumos a partir de documentação interna e conjuntos de dados, bem como de fontes científicas.
De acordo com o Google, o Med-PaLM 2 é o primeiro modelo de linguagem a obter desempenho em nível de especialista em questões do tipo USMLE (Exame de Licenciamento Médico dos EUA) com mais de 85% de precisão. No conjunto de dados MedMCQA, que inclui perguntas dos exames médicos AIIMS e NEET da Índia, alcançou uma “taxa de aprovação” de 72,3%.
Modelo de linguagem médica do Google Med-PaLM 2 passa nas perguntas do exame
Med-PaLM é a variante do Google do modelo de linguagem PaLM otimizado para questões médicas. A versão mais recente foi projetada para responder a perguntas médicas de forma confiável em um nível especializado.
Em dezembro passado, o Google revelou o Med-PaLM, uma versão do modelo de linguagem PaLM (Pathways Language Model) do Google otimizado para responder a perguntas médicas. O Med-PaLM foi desenvolvido usando um método especial de solicitação suave combinado com respostas a solicitações médicas escritas por quatro médicos.
Med-PaLM realizado ao nível dos profissionais médicos na maioria dos benchmarks testados. Respostas potencialmente prejudiciais foram geradas 5,9% do tempo, em comparação com 5,7% para especialistas humanos, disse a equipe de pesquisa.
O Med-PaLM também foi o primeiro modelo de IA a potencialmente passar no Exame de Licenciamento Médico dos EUA (67,2% correto quando testado com “perguntas de estilo de licenciamento”, 60% necessário), respondendo corretamente a perguntas de múltipla escolha e abertas e raciocinando sobre suas respostas.
Med-PaLM 2 é ainda mais preciso – mas ainda tem lacunas
Como parte do evento “The Check Up” do Google Health, o Google anunciou o desenvolvimento contínuo do Med-PaLM. A versão atual, Med-PaLM 2, pode responder a perguntas de exames médicos em um “nível de médico especialista” e é preciso 85 por cento do tempo.
Isso significa que o Med-PaLM 2 alcança um aumento de 18% no desempenho em relação ao seu antecessor e está bem acima do nível de modelos de linguagem comparáveis em tarefas médicas. No entanto, a equipe ainda vê espaço significativo para melhorias para garantir que o Med-PaLM 2 atenda aos padrões de qualidade do Google. Quanto às mudanças técnicas do Med-PaLM 1, a equipe está de boca fechada.
Med-PaLM 2 foi testado contra 14 critérios, incluindo factualidade científica, precisão, consenso médico, raciocínio, viés e dano, avaliados por clínicos e não clínicos de diversas origens e países. A equipe encontrou “lacunas significativas quando se trata de responder a perguntas médicas”, sem elaborar sobre as deficiências.
Trabalhando com equipes de pesquisa, o Google planeja desenvolver ainda mais o Med-PaLM para abordar essas lacunas e entender como o modelo de linguagem pode melhorar os cuidados de saúde. O vídeo abaixo mostra o anúncio do Med-PaLM 2 começando aproximadamente às 16:30.
