ChatGPT, Google Gemini e Meta AI são todos LLMs que funcionam prevendo a próxima palavra, usando vetores de palavras
Nova Delhi:
Já se perguntou como funciona o ChatGPT? A resposta curta a esta questão complexa está em Large Language Models ou LLMs, que são modelos fundamentais treinados usando grandes quantidades de dados textuais. Esses modelos não processam palavras como os humanos. Em vez disso, usam uma longa série de números, representando uma única palavra. Esses dados são alimentados em computadores na forma de vetores de palavras.
Essas sequências de números são conhecidas como Vetores de Palavras e podem ser imaginadas como um único ponto em um espaço imaginário, com palavras de significado semelhante colocadas mais próximas umas das outras. A escala de cada modelo é enorme e quase impossível de imaginar, mas para referência, GPT4 tem impressionantes 1,76 trilhões de parâmetros, com milhões de vetores de palavras exclusivos, de acordo com um relatório de 28 de junho de 2023 da SemiAnalysis, uma pesquisa independente de IA com sede nos EUA. e empresa de análise. O processamento de um número tão grande de vetores com trilhões de parâmetros tem sido possível devido ao dramático avanço do poder computacional nos últimos anos. Mais recentemente, em 19 de junho, a Nvidia tornou-se a maior empresa pública do mundo com base na capitalização de mercado, ultrapassando a Microsoft e a Apple, como resultado do aumento da procura pelos seus chipsets com capacidade de IA.
ChatGPT, Google Gemini e Meta AI são todos LLMs que funcionam prevendo a próxima palavra, usando vetores de palavras. Essa previsão é feita transformando vetores de palavras alimentados pelo usuário como “prompts” em previsões, usando Transformers.
Como é feita a previsão de texto em LLMs?
LLMs são multicamadas. Cada camada consiste em uma arquitetura de rede neural (imagine neurônios artificiais) conhecida como transformadores. Esses transformadores processam o texto de entrada – cada vetor de palavra individualmente – e dentro de cada transformador, palavras na forma de vetores olham ao redor e interagem em busca de informações relevantes. Esse processo é repetido inúmeras vezes, não apenas para um único prompt, mas até mesmo para a próxima vez que um usuário inserir um prompt com palavras semelhantes nos LLMs. Isso permite eficiência nas buscas futuras para melhor previsão da “próxima palavra” na sequência.
Como os LLMs são treinados?
Os LLMs são treinados por meio de aprendizagem não supervisionada, eliminando a necessidade de rotulagem humana dos dados. Dados de páginas da web, livros e outras fontes textuais são usados para alimentar LLMs antes de se tornarem públicos. Estes também geraram polêmica, pois refletiam preconceitos humanos em alguns casos. Mais notavelmente, o Twitter Chatbot Tay da Microsoft, o Gemini do Google e o Sora (conversor de texto para vídeo) da OpenAI geraram polêmica ao longo dos anos por darem respostas preconceituosas, raciais e discriminatórias de gênero. Para seu crédito, a indústria respondeu ao desafio e está em constante evolução para negar os preconceitos humanos dos LLMs.
