O OpenAssistant deve se tornar uma verdadeira alternativa de código aberto ao ChatGPT da OpenAI. Agora, os primeiros modelos, dados de treinamento e código estão disponíveis.
O projeto OpenAssistant começou em dezembro, logo após o lançamento do ChatGPT pela OpenAI. O objetivo é criar um assistente de IA de código aberto com os mesmos recursos. Para esse fim, a equipe passou meses coletando um “corpus de conversas em estilo assistente gerado por humanos e anotado por humanos, composto por 161.443 mensagens distribuídas em 66.497 árvores de conversas, em 35 idiomas diferentes, anotadas com 461.292 classificações de qualidade”, com a ajuda de mais de 13.500 voluntários.
Agora modelos OpenAssistant, dados de treinamento e código estão disponíveis.
OpenAssistant lança modelos de até 30 bilhões de parâmetros
equipe do OpenAssistant usou os dados de instrução coletados para refinar vários modelos de linguagem, incluindo variantes do modelo LLaMA da Meta e do modelo Pyhtia da EleutherAI. A maior variante é baseada no modelo LLaMA com 30 bilhões de parâmetros. Como Alpaca ou Vicuna, os modelos são “sintonizados por instrução” e não foram melhorados pelo aprendizado de reforço com feedback humano (RLHF).
No entanto, os resultados gerados pelos chatbots devem se aproximar dos do modelo gpt-3.5-turbo do ChatGPT, de acordo com um estudo comparativo com voluntários. Experimentos iniciais com plugins, como uma pesquisa no Google, já estão em andamento. A equipe também planeja treinar e lançar um modelo LLaMA-30B com a RLHF no futuro.
Os modelos Pythia já estão disponíveis e os modelos LLaMA serão lançados em breve. Embora os modelos LLaMA não possam ser usados comercialmente devido ao licenciamento da Meta, os modelos Pythia são licenciados para uso comercial.
Além dos modelos, a equipe também libera o código e com o OpenAssistant Conversations os dados coletados. Além disso, todos os modelos podem ser testados através de uma interface web, onde as conversas também podem ser avaliadas e usadas para melhorar ainda mais os modelos.
OpenAssistant fala abertamente sobre as limitações atuais
De acordo com um artigo que acompanha, os modelos exibem os problemas bem conhecidos de grandes modelos de linguagem, como alucinações. Também diz que os dados de treinamento coletados foram principalmente contribuídos por anotadores do sexo masculino, com uma idade média de 26 anos. “Esse perfil demográfico pode inadvertidamente introduzir vieses no conjunto de dados, pois é obrigado a refletir os valores, perspectivas e interesses dos anotadores”, afirma o artigo.
A equipe também tomou medidas para detectar e remover mensagens prejudiciais no conjunto de dados, mas o sistema não é infalível. “Dadas as limitações discutidas acima, defendemos o uso de nossos LLMs apenas em contextos de pesquisa acadêmica”, afirma o documento. “Encorajamos fortemente os pesquisadores a investigar minuciosamente a segurança e o viés dos modelos antes de empregá-los em tarefas a jusante. É importante reconhecer que os modelos liberados podem exibir comportamento inseguro e são suscetíveis a ataques de injeção rápida.
O projeto OpenAssistant visa democratizar a pesquisa de alinhamento
A pesquisa em IA, particularmente na área de modelos de linguagem em larga escala e seu alinhamento, ou adaptação aos valores humanos, tem sido amplamente limitada a um punhado de laboratórios de pesquisa com recursos para treinar e coletar dados, disse a equipe. Esse monopólio no acesso a dados de alta qualidade prejudica o potencial de esforços de pesquisa inclusivos e diversos, particularmente em torno de desafios de alinhamento, “que indiscutivelmente constituem algumas das áreas de pesquisa mais cruciais do nosso tempo”.
O OpenAssistant, com seus modelos publicados e conjunto de dados disponíveis gratuitamente, é, portanto, uma tentativa de democratizar essa pesquisa, diz o artigo. Ao fazer isso, os autores se opõem claramente à abordagem da OpenAI de tornar o desenvolvimento de seus próprios modelos de linguagem e fornecimento de dados cada vez mais opaco e de conduzir pesquisas de alinhamento com um pequeno grupo de especialistas selecionados.
Aqueles que querem experimentar os modelos podem fazê-lo através da interface web OpenAssistant. O código e mais detalhes estão disponíveis no GitHub. Os modelos estão disponíveis no Hugging Face.
O OpenAssistant foi fundado por Andreas Köpf, Yannic Kilcher, Huu Nguyen e Christoph Schumann e inclui uma equipe de mais de 20 desenvolvedores, especialistas em dados e segurança e uma equipe de moderação e documentação. O projeto é apoiado com recursos computacionais, ferramentas e outras assistências da Redmond AI, Hugging Face, Weights & Biases, bem como da Stabilty AI e da LAION.
