O RobotCat da Google DeepMind pode controlar vários braços robóticos e está constantemente se aprimorando por meio de dados gerados por si mesmo.
O RobotCat é um agente de IA autoaperfeiçoável para robótica que aprende uma variedade de tarefas em diversos braços robóticos e gera autonomamente novos dados de treinamento para melhorar a si mesmo. Ao fazer isso, a equipe busca solucionar um problema fundamental na área de robótica: os avanços em IA podem levar a robôs de propósito geral, porém o desenvolvimento é lento devido ao tempo necessário para coletar os dados do mundo real necessários.
Com o Robotic Transformer 1 e projetos como o PaLM-SayCan, a Google também está tentando aplicar sua experiência em outras áreas de IA à robótica. No entanto, de acordo com a Google DeepMind, o RoboCat é o primeiro agente de IA capaz de solucionar múltiplas tarefas e se adaptar a diferentes robôs do mundo real.
O RobotCat da Google DeepMind é baseado no Gato da DeepMind
Além disso, o RoboCat também aprende muito mais rápido do que outros modelos: o agente de IA pode aprender novas tarefas em 100 a 1.000 demonstrações; outros modelos não conseguem igualar a taxa de sucesso do RobotCat para esse número de demonstrações.
“Essa capacidade ajudará a acelerar a pesquisa em robótica, pois reduz a necessidade de treinamento supervisionado por humanos e é um passo importante rumo à criação de um robô de propósito geral”, afirmou a equipe.
O RoboCat é baseado no Gato da DeepMind, que pode processar linguagem, imagens e ações tanto em ambientes simulados quanto no mundo real. A equipe fez algumas adaptações no Gato e treinou o modelo utilizando um grande conjunto de dados de treinamento contendo sequências de imagens e ações de diferentes braços robóticos executando centenas de tarefas.
Após esse treinamento, inicia-se a fase de autoaperfeiçoamento do RoboCat, na qual o sistema aprende a realizar tarefas previamente desconhecidas. O treinamento ocorre em cinco estágios:
- Coletando de 100 a 1.000 demonstrações de uma nova tarefa ou robô com um braço robótico controlado por um humano.
- Ajustando finamente o RoboCat para a nova tarefa/braço, criando um agente especializado derivado.
- O agente derivado pratica a nova tarefa/braço uma média de 10.000 vezes, gerando mais dados de treinamento.
- Os dados das demonstrações e os dados autogerados são integrados ao conjunto de dados de treinamento existente do RoboCat.
- Uma nova versão do RoboCat é então treinada usando o novo conjunto de dados de treinamento.
A habilidade de aprendizado do RoboCat melhora com a experiência
Ao combinar todos esses esforços de treinamento, o RoboCat possui um conjunto de dados de milhões de trajetórias de braços robóticos reais e simulados, incluindo dados autogerados. Com base nisso, o RoboCat pode aprender a controlar novos braços robóticos, mesmo com garras diferentes, em questão de horas – e quanto mais o RoboCat aprende, melhor o agente de IA pode aprender as próximas tarefas. Por exemplo, a primeira versão do RoboCat, com 500 exemplos, solucionava novas tarefas apenas 36% do tempo; a versão final atual, com um número significativamente maior de tarefas, dobrou a taxa de sucesso.
“Essas melhorias foram resultado da crescente amplitude de experiência do RoboCat, semelhante à forma como as pessoas desenvolvem uma gama mais diversificada de habilidades à medida que aprofundam seu aprendizado em um determinado domínio”, afirmou a empresa. “A capacidade do RoboCat de aprender habilidades de forma independente e se aprimorar rapidamente, especialmente quando aplicado a diferentes dispositivos robóticos, ajudará a abrir caminho para uma nova geração de agentes robóticos de propósito geral mais úteis.”
Para obter mais informações, consulte o post no blog do RoboCat do Google DeepMind.
