Google intègre l’intelligence artificielle dans pratiquement tous ses produits, y compris dans des applications expérimentales telles que Gameface, une souris à reconnaissance faciale, et Tailwind, un service privé de modélisation linguistique qui permet aux utilisateurs de discuter avec leurs notes.
Outre ses principaux efforts en matière d’intelligence artificielle avec les chatbots, la recherche et le modèle de langage PaLM 2, Google a également présenté une série d’applications et d’expériences d’intelligence artificielle plus modestes. Deux d’entre elles sont Project Gameface, qui utilise une webcam et la vision par ordinateur pour suivre le visage, et Project Tailwind, un bloc-notes d’IA qui apprend à partir des documents de Google Drive.
Project Gameface est une souris qui suit les visages
Dans le projet Gameface, Google utilise la webcam pour suivre le visage afin d’interagir avec l’ordinateur à la manière d’une souris. Selon Laurence Moroney, principal défenseur de l’IA, Google utilise plusieurs modèles d’IA différents qui conçoivent et suivent un total de 468 points de suivi sur le visage.
Les mouvements de ces points de suivi sont traduits en actions de souris via une application Windows native. Cela permet à l’utilisateur de contrôler l’ordinateur par des mouvements faciaux.
Par exemple, en tirant le coin droit de la bouche vers la droite, le personnage d’un jeu marchera vers la droite. La manière exacte dont le visage contrôle l’ordinateur peut être ajustée via un menu d’options étendu.
Actuellement, le logiciel prend en charge six mouvements faciaux, ce qui est encore assez limité et ne convient pas à des jeux complexes. Gameface est principalement conçu pour les personnes handicapées. Le logiciel est open source et disponible sur Github avec des instructions d’installation.
Tailwind : carnet de notes IA basé sur un modèle de langage privé
Google qualifie Tailwind de « premier carnet d’intelligence artificielle ». Il utilise un modèle linguistique privé formé à partir de vos documents et notes stockés dans Google Drive. Vous pouvez ensuite interagir avec votre contenu via une interface de chat, en demandant des informations spécifiques, de l’inspiration ou des résumés. Imaginez ChatGPT, mais il sait tout sur nos sujets spécifiques. Google utilise sa propre API PaLM 2 pour Tailwind.
Selon Google, le prototype en est encore à ses débuts et a été initialement conçu et testé pour les étudiants. Cependant, le principe de Tailwind est pertinent pour de nombreux publics, des auteurs aux analystes financiers et aux avocats, qui souhaitent interagir avec leur contenu via une interface de chat (la démo commence à 1:05:00).
Google décrit Tailwind comme une expérience développée « au cours des dernières semaines » par cinq professionnels de Google. Aux États-Unis, si vous êtes autorisé à participer aux expériences de GoogleLabs, vous pouvez être inscrit sur une liste d’attente pour y accéder.
