Principais conclusões
- ServiceNow, Hugging Face e Nvidia colaboraram para criar StarCoder2, um LLM versátil para geração de código.
- StarCoder2 eleva a fasquia com parâmetros menores, mas com desempenho impressionante quando comparado a modelos maiores.
- O algoritmo, com uma vasta gama de linguagens de programação, visa aumentar a transparência e maximizar a confiança do utilizador.
Se você é um programador que deseja tornar sua vida um pouco mais fácil, ServiceNow, Hugging Face e Nvidia lançaram StarCoder2, um LLM que você pode executar localmente para gerar código. Treinada em 619 idiomas, a versão de 15 bilhões de parâmetros do StarCoder2 foi construída pela Nvidia e é a maior de todas. A ServiceNow construiu a versão de três bilhões de parâmetros e a Hugging Face construiu a versão de sete bilhões de parâmetros.
StarCoder2 foi construído pela comunidade BigCode, e a inspiração por trás da plataforma é que ela leva em consideração a transparência e o custo-benefício, respeitando os desejos dos desenvolvedores no GitHub. Ele usa apenas código de repositórios com uma licença permissiva anexada e usa apenas código público. A coleção de código-fonte na qual ele é treinado é chamada “The Stack v2” e contém 67,5 TB de código. A versão desduplicada chega a 32,1 TB de código, o que ainda é muito.
O Chat da Nvidia com RTX conectará um LLM com vídeos e documentos do YouTube localmente no seu PC
A Nvidia está tornando ainda mais fácil executar um LLM local com Chat com RTX, e também é bastante poderoso.
StarCoder2 é um dos modelos de geração de código gratuito de melhor desempenho
A vantagem de um LLM treinado especificamente para codificação é que ele pode ter parâmetros significativamente menores, tornando-o mais portátil. No artigo de pesquisa do StarCoder2, observa-se que o modelo de 15 bilhões de parâmetros corresponde consistentemente ou até supera o CodeLlama-34B, um modelo com o dobro do seu tamanho. Até mesmo o modelo de 3 bilhões de parâmetros do StarCoder2 supera o modelo original de 15 bilhões de parâmetros do StarCoder, um feito incrível.
Quanto às diferenças entre os modelos pequeno, médio e grande, elas se resumem principalmente às linguagens de programação e aos dados de treinamento. Embora o maior modelo tenha 619 linguagens de programação, os modelos de sete bilhões e três bilhões de parâmetros reduzem esse número para apenas 17. Essas 17 linguagens são:
C, C++ | JavaScript | Pitão | SQL |
C# | Kotlin | R | Concha |
Ir | Lua | Rubi | Rápido |
Java | PHP | Ferrugem | Texto datilografado |
StarCoder2 possui uma janela de contexto de 16.000 tokens, tornando-o perfeitamente adequado para bases de código de pequeno e médio porte. O modelo de 15 bilhões de parâmetros também consegue atingir uma pontuação de 46,3% no benchmark HumanEval, onde o StarCoder original alcançou apenas 29,3%. Mantendo a competitividade, embora o parâmetro de 15 bilhões do StarCoder2 não supere o DeepSeekCoder-33B (amplamente considerado o melhor modelo de codificação que existe), ele chega bem perto de um modelo com metade do tamanho.
No artigo de pesquisa, as equipes por trás do StarCoder2 afirmam que “ao não apenas liberar os pesos do modelo, mas também garantir total transparência em relação aos dados de treinamento, esperamos aumentar a confiança nos modelos desenvolvidos e capacitar outras equipes de engenharia e cientistas para aproveitar nossos esforços”. .”
Como usar o StarCoder2
StarCoder2 pode ser encontrado em Hugging Face, e a Nvidia também compartilhou instruções sobre como personalizar e implantar o modelo você mesmo. Você pode executá-lo em uma CPU ou em uma placa de vídeo Nvidia, e as variantes menores serão mais tolerantes para rodar em qualquer plataforma com menos RAM. Todos eles podem ser implantados usando Python, e Hugging Face tem instruções para cada modelo e como usá-lo em seu próprio computador em casa.
Melhores GPUs em 2024: nossas principais opções de placas gráficas
Escolher a placa gráfica certa pode ser difícil devido ao grande número de opções no mercado. Aqui estão as melhores placas gráficas a serem consideradas.
