No verão de 2023, a OpenAI criou uma equipe de “Superalinhamento” cujo objetivo era dirigir e controlar futuros sistemas de IA que poderiam ser tão poderosos que poderiam levar à extinção humana. Menos de um ano depois, essa equipe está morta.
OpenAI Bloomberg que a empresa estava “integrando o grupo mais profundamente em seus esforços de pesquisa para ajudar a empresa a atingir suas metas de segurança”. Mas uma série de tweets de Jan Leike, um dos líderes da equipe que recentemente se demitiu, revelou tensões internas entre a equipe de segurança e a empresa maior.
Em um comunicado na sexta-feira, Leike disse que a equipe do Superalignment estava lutando por recursos para realizar as pesquisas. “Construir máquinas mais inteligentes que as humanas é um empreendimento inerentemente perigoso”, escreveu Leike. “A OpenAI está assumindo uma enorme responsabilidade em nome de toda a humanidade. Mas, nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes.” A OpenAI não respondeu imediatamente a um pedido de comentário do Engadget.
A saída de Leike no início desta semana ocorreu horas depois do cientista-chefe da OpenAI, Sutskevar anunciado que ele estava saindo da empresa. Sutskevar não foi apenas um dos líderes da equipe do Superalignment, mas também ajudou a fundar a empresa. A mudança de Sutskevar ocorreu seis meses depois de ele estar envolvido na decisão de demitir o CEO Sam Altman devido a preocupações de que Altman não tivesse sido “consistentemente sincero” com o conselho. A breve demissão de Altman gerou uma revolta interna dentro da empresa, com quase 800 funcionários assinando uma carta na qual ameaçavam pedir demissão se Altman não fosse reintegrado. Cinco dias depois, como CEO da OpenAI depois que Sutskevar assinou uma carta afirmando que se arrependia de suas ações.
Quando Após a criação da equipe Superalignment, a OpenAI disse que dedicaria 20% de seu poder computacional nos próximos quatro anos para resolver o problema de controle de poderosos sistemas de IA do futuro. “(Acertar) isso é fundamental para cumprir nossa missão”, escreveu a empresa na época. No X, Leike escreveu que a equipe do Superalignment estava “lutando pela computação e estava ficando cada vez mais difícil” realizar pesquisas cruciais sobre segurança de IA. “Nos últimos meses, minha equipe navegou contra o vento”, escreveu ele, acrescentando que havia atingido “um ponto de ruptura” com a liderança da OpenAI devido a divergências sobre as principais prioridades da empresa.
Nos últimos meses, houve mais saídas da equipe do Superalignment. Em abril, OpenAI demitiu dois pesquisadores, Leopold Aschenbrenner e Pavel Izmailov, por supostamente vazarem informações.
OpenAI disse Bloomberg que os seus futuros esforços de segurança serão liderados por John Schulman, outro cofundador, cuja investigação se centra em grandes modelos de linguagem. Jakub Pachocki, diretor que liderou o desenvolvimento do GPT-4 — um dos principais modelos de linguagem de grande porte da OpenAI — iria substituir Sutskevar como cientista-chefe.
A Superalignment não foi a única equipe da OpenAI focada na segurança da IA. Em outubro, a empresa uma nova equipa de “preparação” para conter potenciais “riscos catastróficos” dos sistemas de IA, incluindo questões de segurança cibernética e ameaças químicas, nucleares e biológicas.
Este artigo contém links afiliados; se você clicar nesse link e fizer uma compra, poderemos ganhar uma comissão.
