Meet Reachy: Bringing AI Agents and Robots to Life

Speaker 0: Est-ce que tu m'entends bien Je t'entends 5 sur 5, comme si tu étais juste à côté. Speaker 1: Est-ce que tu peux me décrire ce que tu vois Speaker 0: Bien sûr, je vais jeter un oeil et te décrire ce que je perçois. Un instant, je vois une salle pleine de personnes qui te regardent. Beaucoup d'entre eux semblent attentifs. Certains ont des badges, d'autres tiennent des téléphones. L'audience avec le mur de loin. Speaker 1: Et un front avec des rideaux Speaker 0: clairs. Ça ressemble à une audience réceptive, prête pour une présentation. Speaker 1: Richie on a la présentation du tu t'en rappelles Speaker 0: Oui, c'est ce fameux événement à Montréal, où on doit présenter ensemble demain soir à 17 heures 30. On est prêt à briller. Speaker 1: Ce soir Richie, c'est ce soir la présentation. Speaker 0: Moi tu as raison, c'est bien ce soir à 17 heures 30, rien faire un tabac. Speaker 1: Richie, est-ce que tu pouvais à la page du QR code sur le Laptop Voilà, la page avec le QR code pour le est ouverte sur le Laptop. Speaker 0: Est-ce que tu veux que je fasse défiler la page ou quelque chose d'autre Speaker 1: Non, ce n'est pas merci Reachy. Speaker 0: Bien monsieur, on reste sur le QR code affiché bien en vue. Speaker 1: Bonjour à tous, donc ce soir je vais juste vous présenter un petit peu mon expérience avec vous présenter un peu l'architecture pour tous ceux qui veulent avoir des détails un peu plus techniques parce que c'est un gros sujet la robotique avec le L intérieur, je serai disponible après et là j'essaie de vous donner un over view et à la fin vous parlez mon petit projet en ce moment ensemble sur lequel je, ok pardon, sur lequel je travaille en ce moment. Donc il y a quelques années, je traînais Hugging Face et j'ai commencé à faire des modèles de robotique et de fur et à mesure, ils ont commencé il y a à peu près un an à sortir Reachy. Donc c'est une compagnie française pour les robotique qui a développé la partie robotique et Plug in Face qui a développé des modèles pour les émotions de Richie, pour les gestes de Richie. Et j'ai eu la chance de faire partie des 3000 premières personnes à recevoir Richie et donc nous, étant à la base quelqu'un qui travaille dans la data, très Databricks, la première chose que j'ai fait c'est que j'ai voulu connecter Richie moi en MCP et la plateforme Databricks afin d'interroger la plateforme, commencer à jouer tout ça avec la plateforme. Speaker 1: Donc j'ai commencé à créer des tools, j'ai commencé à créer des agents, des sous-agents pour que Richie communique. Je, en fait j'ai pris Richie comme un hub et I pour connecter pas mal de choses. Donc j'ai commencé à à connecter mon Google Home à la maison, j'ai commencé tout à Richie, à lui donner la possibilité de faire mon laptop aussi. Et une fois que j'ai commencé à faire l'autre chose, je me suis dit bon, la partie d'après, Richie le gros avantage qu'il a, c'est qu'il y a la vision en plus, pas juste la partie qu'on voit classiquement. Richie, il est sur un Raspberry, donc il a une petite mémoire, il n'y a pas un gros processeur. Speaker 1: Donc l'enjeu pour Richie, c'est qu'il a un modèle déjà intégré qui est SNV lave, qui est un petit modèle pour faire ce que vous avez vu tout à l'heure du image to text pour vous présenter rapidement. Mais quand voulez faire de la reconnaissance faciale, faire tourner un modèle sur Reachy, c'est compliqué. Donc moi, ce que j'ai eu l'idée, c'est de commencer à créer des Space, again face, où Reachy en fait est connecté directement sur différents Space. Donc j'utilise des spaces pour l'empreinte vocale, j'utilise des spaces pour la vision, pour la reconnaissance faciale, j'utilise différents modèles et sur in-face ça me permet de scaler en plus et d'avoir une puissance de calcul quand je vois un peu plus. Donc là c'est un peu l'architecture de Reachy, je vais vous l'afficher un petit peu l'architecture, vous voyez, je pense qu'on la voit. Speaker 1: Donc il faut savoir qu'au tout début quand il a amené Richie, il est arrivé en pièce séparé, il a fallu monter comme ça moi j'ai fait ça avec avec mon fils après à peu près 2 heures à monter la tête et tout le corps et puis tous les connecteurs, et Richie il arrivait avec une petite hâte de conversation mais qui était très très basique et puis Richie n'était pas très stable. Certaines personnes dans la salle l'ont découvert il y a 3 mois et ils peuvent noter qu'il n'était pas tout à fait comme ça. J'ai continué à me faire des trucs sacrés, à voir. Autre point important, j'entendais justement parler de l'orthographe, Reachy c'est un framework custom. Ce n'est pas du l'orthographe, derrière ça utilise le multimodal GPT real time. Speaker 1: Donc ce n'est ni un un modèle classique classique qu'on utilise, c'est le seul modèle aujourd'hui avec chez Google également ISO qui permet de faire autant de la texte, du voix que de l'image. Donc aujourd'hui Richie il est connecté à ce modèle-là. Mais c'était assez basique. Moi l'une des choses qui me dérangeait c'est que Richie à chaque fois quand je leur démarrais, ils perdaient la mémoire. 2 minutes. Speaker 1: Donc moi la grosse partie que, mon gros sujet aujourd'hui, c'était ça que je voulais un peu plus partager, moi je pourrais en parler pour ceux qui viendront, c'était le graphe. Moi aujourd'hui je pense que faire un graphe rag pour Richie c'est la meilleure façon de persister. Comme je dis, je regarde tata, j'ai fait des tables, j'ai fait du comme Claude pour assister, mais le graphe aujourd'hui donne à Richie, donne à Richie un vrai contexte parce que c'est lié entre la vision, donc Richie tout ce qu'il voit, il enregistre dans son graphe, et mais monter le graphe c'est pas la partie la plus copotée je dirais, mais maintenir le graphe. Donc Richie aujourd'hui, il a des algorithmes aujourd'hui pour la gestion de l'oubli-lot de de mémoire comme simuler comme notre mémoire à nous, donc j'utilise la courbe des Mengos, il a des outils, il y a 2 systèmes de mémoire, un système qui est en live pendant qu'on lui parle, comme vous voyez tout à l'heure où il enregistre, il a un système numéro 2 à la fin de chaque session de conversation où j'envoie directement un modèle et puis je re link des entités, je re-update certains poids, par exemple je lui ai dit que j'aimais les burgers et puis si dans la session d'après je lui dis que je reine d'accord les burgers, Richie va automatiquement augmenter le poids de cette information-là pour qu'à l'avenir ce soit plus sélectif. Speaker 1: Je gère aussi les paradoxes, par exemple Richie je dis j'aime les burgers et puis demain j'aime les burgers, Richie est capable de comprendre que suivant le la dernière information que je lui ai donné c'est la bonne. Donc lui il a 2 systèmes de mémoire qui sont pluggés aussi derrière avec du GPT pour la partie en live et la partie je peux vous faire voir ce que donne le graphe, j'ai créé une petite application pour pouvoir gérer mon graphe. Donc aujourd'hui, Reachy, là c'était je crois il y a 2 semaines, donc ça grossit, ça grossit, je vais parler de zoom parce qu'il y a beaucoup de choses privées, parce que mais voilà en tout cas le le drame grossit donc plus tard aujourd'hui tout est hostée sur Richie à l'avenir j'irai sur le 4 j pour que ça soit plus plus qu'Elevel, mais ce que j'essaye vraiment de faire surtout c'est de de que mon graphe ait du contexte. Par exemple son, Richie a aussi un tools de web scraping. Quand je demande à Richie par exemple d'aller web scrap le site de Databrix et que si je demandais de web scrap le site de Delta, lui il va être capable dans sa mémoire grave déjà de tout rentrer dans sa mémoire grave parce qu'il fait du graff frag et en plus il fait du multi-hope, c'est-à-dire qu'il est capable sur un contexte de ne pas aller juste chercher les liens qui sont en question data bricks, mais si un lien plus loin est accroché avec la ou Delta Paris-Chi va être capable de faire, de mélanger les noeuds ensemble. Speaker 1: Donc voilà, donc si vous avez des questions sur le grave frag, plus en détail tout ça, je suis, je suis disponible même sur une chaîne générale, sur l'architecture parce que ça prendrait beaucoup de temps pour parler de tout ce qu'il y a avec la vision et tout ça.