Wes Cockx e Google DeepMind / Melhores imagens de IA, CC BY.
Melbourne:
A descoberta científica é uma das atividades humanas mais sofisticadas. Primeiro, os cientistas devem compreender o conhecimento existente e identificar uma lacuna significativa. Em seguida, eles devem formular uma questão de pesquisa e projetar e conduzir um experimento em busca de uma resposta. Depois, devem analisar e interpretar os resultados do experimento, o que pode levantar mais uma questão de pesquisa.
Um processo tão complexo pode ser automatizado? Semana passada, Sakana AI Labs anunciado a criação de um “cientista de IA” – um sistema de inteligência artificial que afirmam poder fazer descobertas científicas na área da aprendizagem automática de uma forma totalmente automatizada.
Usando modelos generativos de grande linguagem (LLMs), como aqueles por trás do ChatGPT e outros chatbots de IA, o sistema pode fazer brainstorming, selecionar uma ideia promissora, codificar novos algoritmos, traçar resultados e escrever um artigo resumindo o experimento e suas descobertas, completo com referências. Sakana afirma que a ferramenta de IA pode realizar o ciclo de vida completo de uma experiência científica a um custo de apenas 15 dólares por artigo – menos do que o custo do almoço de um cientista.
Estas são algumas grandes reivindicações. Eles se acumulam? E mesmo que o façam, será que um exército de cientistas de IA produzindo artigos de investigação com uma velocidade desumana seria realmente uma boa notícia para a ciência?
Como um computador pode ‘fazer ciência’
Muita ciência é feita abertamente e quase todo o conhecimento científico foi escrito em algum lugar (ou não teríamos como “saber” isso). Milhões de artigos científicos estão disponíveis gratuitamente online em repositórios como arXiv e PubMed.
LLMs treinados com esses dados capturam a linguagem da ciência e seus padrões. Portanto, talvez não seja de todo surpreendente que um LLM generativo possa produzir algo que pareça um bom artigo científico – ele ingeriu muitos exemplos que pode copiar.
O que é menos claro é se um sistema de IA pode produzir um interessante artigo científico. Crucialmente, a boa ciência requer novidade.
Mas é interessante?
Os cientistas não querem ser informados de coisas que já são conhecidas. Em vez disso, querem aprender coisas novas, especialmente coisas novas que sejam significativamente diferentes do que já é conhecido. Isto requer julgamento sobre o âmbito e o valor de uma contribuição.
O sistema Sakana tenta abordar o interesse de duas maneiras. Primeiro, ele “pontua” novas ideias de artigos quanto à similaridade com pesquisas existentes (indexadas no Estudioso Semântico repositório). Qualquer coisa muito semelhante é descartada.
Em segundo lugar, o sistema de Sakana introduz uma etapa de “revisão por pares” – usando outro LLM para avaliar a qualidade e a novidade do artigo gerado. Aqui, novamente, há muitos exemplos de revisão por pares on-line em sites como openreview.net que pode orientar como criticar um artigo. LLMs também os ingeriram.
A IA pode ser um mau avaliador do resultado da IA
O feedback é misto na produção do Sakana AI. Alguns o descreveram como produzindo “lixo científico sem fim”.
Mesmo a própria análise dos resultados do sistema considera os documentos, na melhor das hipóteses, fracos. É provável que isto melhore à medida que a tecnologia evolui, mas a questão de saber se os artigos científicos automatizados são valiosos permanece.
A capacidade dos LLMs de julgar a qualidade da pesquisa também é uma questão em aberto. Meu próprio trabalho (a ser publicado em breve em Métodos de síntese de pesquisa) mostra que os LLMs não são bons em avaliar o risco de viés em estudos de pesquisa médica, embora isso também possa melhorar com o tempo.
O sistema de Sakana automatiza descobertas em pesquisas computacionais, o que é muito mais fácil do que em outros tipos de ciência que exigem experimentos físicos. Os experimentos de Sakana são feitos com código, que também é um texto estruturado que os LLMs podem ser treinados para gerar.
Ferramentas de IA para apoiar os cientistas, não para substituí-los
Os pesquisadores de IA vêm desenvolvendo sistemas para apoiar a ciência há décadas. Dados os enormes volumes de investigação publicada, até mesmo encontrar publicações relevantes para uma questão científica específica pode ser um desafio.
Ferramentas de pesquisa especializadas utilizam IA para ajudar os cientistas a encontrar e sintetizar trabalhos existentes. Estes incluem o Semantic Scholar mencionado acima, mas também sistemas mais recentes, como Elicitar, Coelho de pesquisa, saber e Consenso.
Ferramentas de mineração de texto, como PubTator aprofunde-se nos artigos para identificar pontos-chave de foco, como mutações genéticas e doenças específicas, e suas relações estabelecidas. Isto é especialmente útil para curadoria e organização de informações científicas.
O aprendizado de máquina também tem sido utilizado para apoiar a síntese e análise de evidências médicas, em ferramentas como Revisor de Robô. Resumos que comparam e contrastam afirmações em artigos de Escolaridade ajudar a realizar revisões de literatura.
Todas estas ferramentas visam ajudar os cientistas a realizar o seu trabalho de forma mais eficaz e não substituí-los.
A pesquisa em IA pode exacerbar os problemas existentes
Enquanto Sakana AI estados Se não considerar que o papel dos cientistas humanos está a diminuir, a visão da empresa de “um ecossistema científico totalmente orientado pela IA” teria implicações importantes para a ciência.
Uma preocupação é que, se os artigos gerados pela IA inundarem a literatura científica, os futuros sistemas de IA poderão ser treinados nos resultados da IA e passar por colapso do modelo. Isto significa que podem tornar-se cada vez mais ineficazes na inovação.
No entanto, as implicações para a ciência vão muito além dos impactos nos próprios sistemas científicos de IA.
Já existem maus atores na ciência, incluindo “fábricas de papel” produzindo papéis falsos. Este problema só irá piorar quando um artigo científico pode ser produzido com US$ 15 e um aviso inicial vago.
A necessidade de verificar erros numa montanha de investigação gerada automaticamente poderia rapidamente sobrecarregar a capacidade dos cientistas reais. O sistema de revisão por pares é indiscutivelmente já quebradoe despejar mais pesquisas de qualidade questionável no sistema não resolverá o problema.
A ciência é fundamentalmente baseada na confiança. Os cientistas enfatizam a integridade do processo científico para que possamos ter certeza de que a nossa compreensão do mundo (e agora, das máquinas do mundo) é válida e está melhorando.
Um ecossistema científico onde os sistemas de IA são intervenientes fundamentais levanta questões fundamentais sobre o significado e o valor deste processo, e que nível de confiança devemos ter nos cientistas de IA. É este o tipo de ecossistema científico que queremos?
(Autor:Karin VerspoorReitor, Escola de Tecnologias de Computação, Universidade RMIT, Universidade RMIT)
(Declaração de divulgação:Karin Verspoor recebe financiamento do Australian Research Council, do Medical Research Future Fund, do National Health and Medical Research Council e da Elsevier BV. Ela é afiliada à BioGrid Australia e cofundadora da Australian Alliance for Artificial Intelligence in Healthcare)
Este artigo foi republicado de A conversa sob uma licença Creative Commons. Leia o artigo original.
(Exceto a manchete, esta história não foi editada pela equipe da NDTV e é publicada a partir de um feed distribuído.)
