Implantando Grandes Modelos de Linguagem: vLLM e Quantização | por Ayoola Olafenwa | abril de 2024

Saída gerada

Latency: 1.218436622619629seconds
Throughput: 63.15334836428132tokens/second
(1, 2, 3, 4, 5)
A: def sum_list(numbers):
total = 0
for num in numbers:
total += num
return total
numbers = (1, 2, 3, 4, 5)
print(sum_list(numbers))

Detalhamento do código passo a passo

Linha 1–3: Pacotes necessários importados do vLLM para execução Phi-2.

Linha 5–8: Carregado Phi-2 com vLLM, definiu o prompt e definiu parâmetros importantes para executar o modelo.

Linha 10–16: Gerou a resposta do modelo usando llm.generate e calculou o latência.

Linha 19–21: Obteve o comprimento total de tokens gerados a partir da resposta, dividiu o comprimento dos tokens pela latência para obter o Taxa de transferência.

Linha 23–24: Obteve o texto gerado.

eu corri Phi-2 com vLLM no mesmo prompt, “Gere um código python que aceite uma lista de números e retorne a soma.” Na mesma GPU, uma A1000 (GPU de 16 GB), o vLLM produz um latência de 1,2 segundos e um Taxa de transferência de 63 tokens/segundoem comparação com os transformadores Hugging Face latência de 2,85 segundos e um Taxa de transferência de 32 tokens/segundo. Executar um modelo de linguagem grande com vLLM produz o mesmo resultado preciso que usar Hugging Face, com latência muito menor e rendimento mais alto.

Observação: As métricas (latência e rendimento) que obtive para vLLM são benchmarks estimados para desempenho de vLLM. A velocidade de geração do modelo depende de muitos fatores, como a duração do prompt de entrada e o tamanho da GPU. De acordo com o relatório oficial do vLLM, executar um modelo LLM em uma GPU poderosa como o A100 em um ambiente de produção com vLLM alcança Rendimento 24x maior do que Abraçando Transformadores de Rosto.

Comparativo de latência e taxa de transferência em tempo real

A maneira como calculei a latência e a taxa de transferência para executar o Phi-2 é experimental e fiz isso para explicar como o vLLM acelera o desempenho de um modelo de linguagem grande. No caso de uso real de LLMs, como um sistema baseado em chat onde o modelo gera um token à medida que é gerado, medir a latência e a taxa de transferência é mais complexo.

Um sistema baseado em chat é baseado em tokens de saída de streaming. Alguns dos principais fatores que afetam as métricas LLM são Hora do primeiro token (o tempo necessário para um modelo gerar o primeiro token), Tempo por token de saída (o tempo gasto por token de saída gerado), o comprimento da sequência de entrada, a saída esperada, o total de tokens de saída esperadose o tamanho do modelo. Em um sistema baseado em chat, a latência geralmente é uma combinação de Hora do primeiro token e Tempo por token de saída multiplicado pelo total de tokens de saída esperados.

Quanto maior o comprimento da sequência de entrada passada para um modelo, mais lenta será a resposta. Algumas das abordagens usadas na execução de LLMs em tempo real envolvem o agrupamento de solicitações de entrada dos usuários ou prompts para realizar inferências nas solicitações simultaneamente, o que ajuda a melhorar o rendimento. Geralmente, usar uma GPU poderosa e servir LLMs com ferramentas eficientes como vLLM melhora a latência e o rendimento em tempo real.

Execute a implantação do vLLM no Google Colab

A quantização é a conversão de um modelo de aprendizado de máquina de uma precisão mais alta para uma precisão mais baixa, reduzindo os pesos do modelo em pedaços menores, geralmente 8 bits ou 4 bits. Ferramentas de implantação como vLLM são muito úteis para servir inferência de modelos de linguagem grande com latência muito baixa e alto rendimento. Somos capazes de correr Phi-2 com Hugging Face e vLLM convenientemente na GPU T4 no Google Colab porque é um LLM menor com 2,7 bilhões de parâmetros. Por exemplo, um modelo de 7 bilhões de parâmetros como Mistral 7B não pode ser executado no Colab com Hugging Face ou vLLM. A quantização é melhor para gerenciar requisitos de hardware de GPU para modelos de linguagem grande. Quando a disponibilidade da GPU é limitada e precisamos executar um modelo de linguagem muito grande, a quantização é a melhor abordagem para carregar LLMs em dispositivos restritos.

Bits e Bytes

É uma biblioteca python construída com funções de quantização personalizadas para reduzir os pesos do modelo em bits mais baixos (8 bits e 4 bits).

Instalar BitsandBytes

pip3 install bitsandbytes

Quantização do Modelo Mistral 7B

Mistral 7Bum modelo de 7 bilhões de parâmetros da MistralAI, é um dos melhores modelos de linguagem grande de código aberto de última geração. Vou seguir um processo passo a passo de execução Mistral 7B com diferentes técnicas de quantização que podem ser executadas na GPU T4 no Google Colab.

Quantização com precisão de 8 bits: Esta é a conversão do peso de um modelo de aprendizado de máquina em precisão de 8 bits. Bits e Bytes foi integrado aos transformadores Hugging Face para carregar um modelo de linguagem usando o mesmo código Hugging Face, mas com pequenas modificações para quantização.

 (INST) What is Natural Language Processing? (/INST) Natural Language Processing (NLP) is a subfield of artificial intelligence (AI) and
computer science that deals with the interaction between computers and human language. Its main objective is to read, decipher, 
understand, and make sense of the human language in a valuable way. It can be used for various tasks such as speech recognition, 
text-to-speech synthesis, sentiment analysis, machine translation, part-of-speech tagging, name entity recognition, 
summarization, and question-answering systems. NLP technology allows machines to recognize, understand,
and respond to human language in a more natural and intuitive way, making interactions more accessible and efficient.