Automatize a tarefa diária de upsert da Pinecone com monitoramento de aipo e Slack
Já faz um tempo desde minha última postagem no LLM e estou animado em compartilhar que meu protótipo foi produzido com sucesso como o primeiro chatbot com LLM da Outside, o Scout. Se você é membro do Outside+, pode conferir em https://scout.outsideonline.com/.
Esta jornada começou como meu projeto de curiosidade de fim de semana em março de 2023. Tive a ideia de construir um chatbot de perguntas e respostas usando LLMs da OpenAI e conteúdo do Outside como base de conhecimento. Mais tarde, compartilhei meu protótipo em nosso dia interno de demonstração de produto e fiquei emocionado com o interesse que ele conseguiu despertar. Scout rapidamente se tornou um projeto oficial. Em 28 de novembro de 2023, lançamos o Scout para membros limitados do Outside+. Avançando para hoje, 12 de abril de 2024, mais de 28,3 mil usuários únicos já utilizaram esta ferramenta Outdoor Companion AI.
Eu não poderia estar mais grato por essa experiência incrível e estou planejando escrever uma minissérie para compartilhar alguns insights dos bastidores sobre o que é necessário para dar vida aos aplicativos com tecnologia LLM e RAG. Até agora, planejei cobrir as três partes a seguir:
- 🦦 Parte 1: Automatize upserts diários de pinha com monitoramento de aipo e Slack
- 🦦 Parte 2: Construindo uma API LLM Websocket em Django com Postman Testing
- 🦦 Parte 3: Monitorando aplicativos LLM com Datadog: testes sintéticos, OpenAI e rastreamento de uso de Pinecone
Esta postagem irá mergulhar na Parte 1, configurando tarefas agendadas com Celery Beat para inserir automaticamente embeddings no banco de dados de vetores Pinecone. E configuraremos atualizações lentas para facilitar o monitoramento. Vamos começar!
LLMs normalmente têm data limite de dados de treinamento, o atual gpt-4-turbo foi cortado em 2023-dezembro (até o dia em que escrevo -2024-abril). A promessa de usar RAG é que podemos equipar LLMs com dados mais recentes e específicos de domínio para reduzir alucinações e melhorar a experiência do usuário. Assim a questão: como podemos manter a base de conhecimento atualizada? A resposta é – usando Salsão e Batida de aipo para agendar uma tarefa periódica (diária ou semanal) para incorporar publicações recém-publicadas…
