AnythingLLM simplifica o acesso a uma nova tendência: conversar com seus próprios dados usando um modelo GPT.

“Conversar com seus documentos é o ‘olá mundo' dos casos de uso do LLM, por que não torná-lo mais acessível?”, pergunta Tim Carambat, desenvolvedor do AnythingLLM. A mesma ideia está sendo perseguida por projetos como o PrivateGPT ou o GPT4All, mas, ao contrário deles, Carambat está evitando modelos de linguagem hospedados localmente e bancos de dados vetoriais em prol de uma interface de chat fácil de usar, coleta de dados simples e integração com serviços como o GPT-3.5-turbo, GPT-4 ou Pinecone da OpenAI. No entanto, se desejar, você ainda pode substituí-los por instâncias locais.

AnythingLLM é uma suíte abrangente de aplicativos e ferramentas que podem transformar qualquer documento, recurso ou conteúdo em dados que podem ser utilizados por modelos de linguagem como referência durante uma conversa. Por exemplo, transcrições de canais inteiros do YouTube, livros de referência ou documentos empresariais podem ser consultados. Ao usar modelos e bancos de dados externos, o AnythingLLM permanece como um aplicativo que pode ser executado em segundo plano e não requer uma grande capacidade de processamento.

O AnythingLLM vem com ferramentas de coleta de dados e uma interface de chat

O AnythingLLM permite que você colete dados de fontes pré-definidas ou adicione as suas próprias, oferece um cache para documentos processados, a fim de economizar custos, e tem a capacidade de configurar vários ambientes de trabalho que podem compartilhar documentos pré-definidos. Isso permite que equipes colaborem e ainda tenham determinados conteúdos visíveis apenas para certos membros.

Atualmente, o AnythingLLM oferece ferramentas de coleta de dados para YouTube, Substack, Medium e Gitbooks. URLs e documentos locais também podem ser vetorizados. O sistema também fornece a fonte da resposta, como uma URL.

AnythingLLM é de código aberto
Além do Pinecone, Carambat planeja suportar outros bancos de dados vetoriais e modelos de linguagem, além dos produtos da OpenAI. Recentemente, foi adicionado suporte para Chroma. Também estão planejadas integrações adicionais com o Google Drive ou repositórios do Github.

Para usar o AnythingLLM, você precisa:

  • Python 3.8+ (para a coleta de dados)
  • Node 16+ (para o servidor local)
  • yarn/npm
  • Chave da API da OpenAI (para incorporação e conversação)
  • Chave da API do Pinecone DB ou uma instância do ChromaDB em execução localmente (para armazenamento de vetores).

O AnythingLLM é de código aberto e está disponível no GitHub.