A Microsoft revelou seu mais recente modelo leve de IA, chamado Phi-3 Mini, projetado para rodar em smartphones e outros dispositivos locais, revelou em um novo artigo de pesquisa. Treinado em 3,8 bilhões de parâmetros, é o primeiro de três pequenos modelos de linguagem Phi-3 que a empresa lançará em um futuro próximo. O objetivo é fornecer uma alternativa mais barata aos LLMs baseados em nuvem, permitindo que organizações menores adotem IA.
De acordo com a Microsoft, o novo modelo supera facilmente o modelo pequeno Phi-2 anterior e está no mesmo nível de modelos maiores, como Lhama 2. Na verdade, a empresa afirma que o Phi-3 Mini fornece respostas próximas ao nível de um modelo 10 vezes maior.
“A inovação reside inteiramente no nosso conjunto de dados para formação”, de acordo com o artigo de investigação. Esse conjunto de dados é baseado no Modelo Phi-2mas usa “dados da web altamente filtrados e dados sintéticos”, afirma a equipe. Na verdade, um LLM separado foi usado para realizar essas duas tarefas, criando efetivamente novos dados que permitem que o modelo de linguagem menor seja mais eficiente. A equipe foi supostamente inspirada em livros infantis que usam uma linguagem mais simples para abordar temas complexos, segundo A beira.
Embora ainda não consiga produzir os resultados de LLMs baseados em nuvem, o Phi-3 Mini pode superar o Phi-2 e outros modelos de linguagem pequena (Mistral, Gemma, Llama-3-In) em tarefas que vão desde matemática até programação e testes acadêmicos. . Ao mesmo tempo, funciona em dispositivos tão simples como smartphones, sem necessidade de conexão à Internet.
Sua principal limitação é a amplitude do “conhecimento factual” devido ao tamanho menor do conjunto de dados – daí o motivo pelo qual não tem um bom desempenho no teste “TriviaQA”. Ainda assim, deve ser bom para modelos como esse que requerem apenas conjuntos de dados internos pequenos. Isso poderia permitir que empresas que não podem pagar LLMs conectados à nuvem aderissem à IA, espera a Microsoft.
Phi-3 Mini já está disponível no Azure, Hugging Face e Ollama. A seguir, a Microsoft deverá lançar o Phi-3 Small e o Phi-3 Medium com capacidades significativamente maiores (7 bilhões e 14 bilhões de parâmetros, respectivamente).
Este artigo contém links afiliados; se você clicar nesse link e fizer uma compra, poderemos ganhar uma comissão.
