Rhasspy et node-red

Prérequis

Si tu es en en mode 1 rhasspy maitre en tant que VM et plusieurs rhasspy satellite dans la maison, il faut que ton rhasspy maitre soit bien configuré.

Il faut que tu mettes tous les noms des siteId de tous tes rhasspy satellites en tant que siteId du rhasspy maitre.

Ensuite, tu t’assures de faire de même en tant que « Satellite siteIds » avec chacun des composants suivants :

  • Speech To Text : Kaldi
  • Intent Recognition : fsticuffs

Pour la configuration des satellites, tu peux t’inspirer de cet article

Je ne sais pas si c’est normal, en tout cas, chez moi, il marche comme ça 🙂

Création de l’intent de test

Comme on vient de le voir à la page précédente, avant de faire l’équivalent de l’étape 5 de notre liste, il va nous falloir quand même configurer Rhasspy pour notre intent de test.

Voilà comment je vois les choses pour notre « Hello world ! » du futur. Tu vas réveiller ton assistant et lui dire : « Dis bonjour ». Et celui-ci devra répondre : « Bonjour le monde ! »

Etape 1 : Hotword

Pour ça, tout est dans cet article sur le Hotword dans Rhasspy.

Etape 2 : Capture de la demande utilisateur

Pour ça, tout est dans l’article sur la configuration de base

Etape 3 : Reconnaissance vocale

Il suffit de choisir Kaldi dans l’article sur la configuration de base

Etape 4 : Reconnaissance de l’intention

Là, ça devient intéressant. Qu’importe le « reconnaisseur » d’intent que tu aies choisi, ce qu’on va mettre dans la partie sentences ne posera pas de souci de performance.

Donc, on va aller dans la partie sentences de Rhasspy.

sentences

Et ajoutons quelque chose d’assez basique comme :

[disBonjour]
Dis bonjour
Dit bonjour

Pour s’assurer de la bonne reconnaissance de l’intent, en général, je n’hésite pas à ajouter une version avec des fautes d’orthographe. Ça peut aider.

Ensuite on clique sur le bouton rouge « Save sentences » puis en haut à droite sur le bouton vert « Train » pour entrainer notre assistant vocal à reconnaitre notre nouvelle intent.

boutons train et restart

Vérification de la détection de l’intent.

Il y a 2 possibilités. La première c’est d’utiliser un outil comme Rhasspy-watch et de regarder ce qui se passe sur MQTT. Normalement l’intent devrait y être envoyée.

La seconde solution, et plus rapide dans notre cas, c’est de le tester directement depuis l’accueil ! Pour ça, tu retournes sur l’accueil en cliquant sur ce bouton tout à gauche

Accueil

Et là, à droite du bouton bleu « Recognize », on écrit « Dis bonjour ». Il ne reste plus qu’à cliquer sur le bouton bleu et observer ce résultat :

En rouge, tu as le nom de l’intent qui a été reconnue. Parfait 🙂

Etape 5 : Configuration de Rhasspy pour le gestionnaire d’intent

Dans la partie configuration de Rhasspy, dans la liste déroulante de « Intent Handling », on sélectionne « Remote HTTP ».

Et pour la valeur de remote URL : http://127.0.0.1:1880/gestionIntent

Voilà, chaque intent détectée sera envoyée en json à notre récepteur web node-red qui s’appelle gestionIntent.

11 Comments

  1. Alors, suite de mon commentaire
    Mon pi4 est instable bien que refroidi, j’ai basculé le tout dans quelques dockers de mon nas.
    – Le problème avec node-red était une peccadille qui m’a coûté un temps fou… problème quand on croit se relire en négligeant certaines options clé (ici c’était très stupidement la méthode http du connecteur de node-red qui était mise sur GET au lieu de POST)
    – j’ai buté sur des problèmes de compatibilité entre les deux versions de rhasspy qui tournaient respectivement sur le serveur et le satellite. j’ai fini par utiliser le dépôt rhasspy/rhasspy sur les deux avec succès.
    – j’ai tourné un peu sur la question des sited qui faisaient que l’intent n’était pas reconnu convenablement c’est réglé et le reste devrait s’éclaircir au prochain satellite déployé.

    – j’ai obtenu une diminution significative de la latence en basculant l’intent recognition et le speech-to-text en MQTT. Cela a nécessité un remaniage / triturage de messages, et a constitué un exercice intéressant pour node-red (ce truc est juste fantastique)

    Pour l’instant mon installation est encore muette, j’hésite encore à la faire parler.

    Un des points gênants est le délai entre la détection du mot-clé et le début de l’enregistrement. Augmenter la priorité du processus aide un peu, un poil d’overclock aiderait sans doute aussi mais il me répugne de diminuer la durée de vie de l’appareil.

    Tu as avais raison sur le réglage de la sensibilité du mot-clé, le moindre dixième compte.
    Tout en bidouillant, j’avais noté que le mot-clé se déclenchait souvent pour rien à cause de la série qui passait dans le fond. J’ai utilisé cela comme bruit aléatoire pour m’aider à régler ce seuil et j’ai pu par la suite le confirmer en laissant tourner des médias durant 3 heures.

    • Ravi que cet article ait pu t’aider 😉

      En tout cas sacré boulot et, oui, cela prend un peu de temps pour avoir un réglage qui fonctionne, mais après, c’est quand même un sacré plaisir !

      Bien joué

      Cédric

  2. Bonjour,
    eh bien j’ai du potasser un peu les principes des « Dockers » car j’ai effectivement mon Rhasspy sous docker et Node-RED sous l’environnement classique car livré avec mon Raspberry Pi OS FULL (32Bits) – bref le réseau coté Docker n’est pas tout à fait ce que je pensais .
    après moult péripéties, finalement, ma soluce à été de créer un macvlan afin que mon Rhasspy[Docké] puisse joindre le réseau local (eth0)
    $ docker network create -d macvlan \
    –subnet=192.168.1.0/24 \
    –gateway=192.168.1.1 \
    -o parent=eth0 my-macvlan-net
    ce qui donne :
    docker network ls
    NETWORK ID NAME DRIVER SCOPE
    4cb908bd20ea bridge bridge local
    fafc959be3eb host host local
    0709ee34b3ad my-macvlan-net macvlan local
    9f87a5a688ff none null local

    J’ai donc modifié le remote URL de l’Intent Handling par « http://192.168.16:1880/GestionIntent » et j’ai pu enfin voir mon objet dans la fenêtre debug de Node-RED …

    Merci pour la piste 😉

    Pascal

  3. Bonjour,
    J’ai quelques soucis de communication entre Rhasspy 2.5.0-pre et Node-RED
    le coté Rhasspy me semble correct voici le log (le fin)

    [DEBUG:2020-06-02 15:30:02,220] rhasspyserver_hermes: Sent 331 char(s) to websocket
    [DEBUG:2020-06-02 15:30:02,214] rhasspyserver_hermes: Handling NluIntent (topic=hermes/intent/disBonjour, id=7d377247-031a-4549-8a78-cbfc3743fb69)

    Mais le silence dans le log de Node-RED déployé …
    ma config Remote URL de Rhasspy -> http://127.0.0.1:1880/endpoint/GestionIntent
    (j’ai bien nommé le node ainsi maj/min)
    Je vais essayer de tester autrement le Node-RED pour valider celui-ci …
    Merci,
    Au fait « Ce site est vraiment formidable ! »
    Pascal

    Je vias continuer à chercher mais si vous avez une idée …

    • Bonjour Pascal,

      Comme ça, pas simple de voir ce qui cloche mais ce que j’essaierai dans un premier temps c’est juste de mettre le composant HTTP (ecoute intent) et juste derrière, le composant debug (msg.payload).
      Cela permettra juste de savoir si Rhasspy a bien envoyé quelque chose.
      Une autre chose aussi qui peut être tenter c’est d’accéder à l’URL depuis un navigateur (Internet explorer, chrome, edge ou firefox).

      Si il n y a toujours rien qui apparait dans la console de debug, alors cela serait plus « réseau » (firewall etc.)

      Autre point, si tu es avec Docker pour Rhasspy, il y a peut être une config réseau à configurer. Mais comme je n’utilise pas Docker…

      Voilà quelques pistes à étudier 🙂

      Ced

  4. Bonjour, vraiment super boulot j’adore !

    Je tente le coup avec node red et je n’arrive pas à connecter rhasspy à celui-ci.

    J’ai un pi4 maître basé sur hassio (hass + rhasspy + node red) et un satellite pi0 basé raspbian buster avec juste rhasspy.

    Bon an mal an, j’arrive à progresser un peu même si certaines choses restent floues dans ma tête sur qu’est-ce qui gère quoi et comment…

    Dans la section « Use a remote HTTP server to handle intents » je peux y mettre l’url
    Dans tout ça je bute sur un méchant problème : node-red ferme la porte à rhasspy d’un « 401 Client Error: Unauthorized for url: http://jarvis.lan:1880/gestionIntent« .
    En joignant directement cette adresse avec un browser j’obtiens toujours un écran de login.
    J’ai tenté le coup avec localhost à la place de jarvis.lan et j’obtiens ceci : HTTPConnectionPool(host=’localhost’, port=1880): Max retries exceeded with url: /gestionIntent (Caused by NewConnectionError(‘: Failed to establish a new connection: [Errno 111] Connection refused’))

    Ce qui paraît pire. Ce message mène à d’autres fils de discussions relatifs à des BDD
    Mon google-fu ne m’a été d’aucune aide.
    J’ai vu que Frenck (le dev de l’addon) a prévu une option « leave_front_door_open » mais ça ne me plaît que modérément.
    En activant cette option, le problème d’accès est (temporairement) réglé.
    J’ai vu ensuite qu’il avait prévu le préfixe /endpoint, avec localhost j’ai toujours le message « Max retries », avec jarvis.lan j’obtiens un 404 -_-

    Je suis évidemment une bille avec node-red, mais vu le morceau j’ignore si je dois chercher dans node red, ou bien dans le module supervisor, dans une option docker ou dans les intégrations hassio

    Je précise que je ne manque pas de redémarrer les plugins après modif et que je n’ai pas oublié de cliquer sur « deploy ».

    Pierre

  5. Bonjour bravo pour la qualité de votre site et merci pour le partage….
    Après une lecture rapide de l’ensemble des tuto sur Rhasspy , je vais reprendre depuis le début ….
    Une question : avez vous déjà testé rhasspy sur raspberry pi4 ?
    merci d’avance

    • Bonjour,

      Moi, non, mais d’autres personnes oui et elles n’ont pas eu de soucis. Et il y a beaucoup de monde aujourd’hui teste rhasspy avec le pi 4.

      Ced

Poster un Commentaire

Votre adresse de messagerie ne sera pas publiée.


*


Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.