Soyons techniques dans cet article et explorons l’une des capacités fascinantes de notre système d’exploitation Aplysia – l’auto-apprentissage . Qu’est-ce que ça veut dire? Comment ça marche? Nous avons posé ces grandes questions à l’équipe d’Aplysia Lab, et voici ce que nous avons appris.
Avant d’approfondir le sujet de l’IA auto-apprenante, il convient de prendre un moment pour définir exactement ce qu’est un chatbot dans ce contexte. Cela peut être expliqué comme un programme artificiellement intelligent capable d’avoir une conversation avec un humain, grâce aux dernières avancées de l’IA et du traitement du langage naturel (NLP). Cependant, comme les humains, il n’a pas toutes les connaissances sur le monde dès le début. Parfois, il ne connaît pas les mots ou certaines expressions linguistiques spécifiques parce qu’il n’a tout simplement pas encore eu la chance de les apprendre. Pour utiliser une analogie, les connaissances contenues dans le modèle d’IA conversationnelle sont comme le cerveau d’un chatbot.
Ces modèles se développent et grandissent avec le temps car ils doivent être formés en permanence. Souvent, ces sessions de formation sont animées par un humain sans supervision et sans vérification de la réaction du modèle. S’il est mal formé ou n’est pas instruit sur la façon de faire son travail correctement, il fera des erreurs.
Sans une formation et des tests approfondis, les modèles présenteront probablement les problèmes et défis suivants :
Il existe des millions d’expressions, de mots et de phrases à des fins diverses à travers le monde, avec différentes nuances pour chaque dialecte. Cela peut amener le chatbot à manquer occasionnellement d’informations et à donner une mauvaise réponse aux questions de l’utilisateur.
Si le modèle n’a pas reçu suffisamment d’informations nécessaires pour faire la distinction entre des sujets similaires, il peut interpréter les sujets de manière incorrecte et proposer des réponses confuses.
La précision du chatbot détermine son taux de réussite et a un impact direct sur les capacités d’automatisation du chatbot.
HiJiffy a créé un outil d’auto-apprentissage pour l’IA conversationnelle dans le cadre du système d’exploitation Aplysia. En d’autres termes, notre technologie peut apprendre de nouveaux sujets, expressions, phrases et mots pour résoudre les problèmes présentés précédemment. Il peut identifier plus de 200 sujets spécifiques à l’hôtellerie. Grâce à sa capacité d’auto-apprentissage, l’IA de HiJiffy peut utiliser les retours clients pour comprendre des termes et expressions mal identifiés. Il peut adapter son modèle pour mieux différencier les sujets déjà existants et finalement améliorer la précision de ses réponses en réduisant le taux d’erreur.
L’illustration suivante résume le flux d’auto-apprentissage:
Tel que présenté, ce système d’auto-apprentissage est basé sur les retours de nos clients. HiJiffy permet au personnel de l’hôtel de signaler des phrases issues de conversations réelles avec leurs clients lorsqu’ils estiment que l’IA n’a pas fourni la meilleure réponse.
Tenant compte de l’accent mis par HiJiffy sur une meilleure connexion des hôtels et de leurs clients et sur l’aide aux hôteliers pour automatiser les processus, nous améliorons continuellement notre modèle d’IA conversationnelle pour donner la réponse la plus précise possible aux clients de nos clients. Tous les commentaires sont les bienvenus et utilisés pour rendre notre modèle encore meilleur.
Dans cette optique, nous développons un outil d’auto-apprentissage vérifiant si les cas signalés par les clients ont été correctement enregistrés. Il permettra également de tester et de mesurer l’impact de la formation avec ces phrases sur l’amélioration de notre connaissance du modèle. Cet outil fournira des métriques spécifiques et décidera quels cas doivent être modifiés et lesquels ne doivent pas l’être, en tenant compte des mécanismes d’IA et de l’apprentissage automatique.
Pour mieux comprendre ce processus complexe, examinons quelques études de cas démontrant comment notre outil d’auto-apprentissage répond aux trois défis mentionnés ci-dessus.
Manque de connaissance des mots, des phrases et des expressions.
L’IA conversationnelle n’a pas reconnu le mot hydravion comme mode de transport. Un de nos clients a fourni cette contribution à Aplysia OS. L’outil d’auto-apprentissage a utilisé ces informations pour vérifier si ce que le client avait écrit était exact et déterminer qu’un hydravion est un mode de transport. Aplysia OS a approuvé ce cas, et l’IA conversationnelle a appris que l’hydravion est un mode de transport.
Chevauchement dans l’identification des sujets (sujets confus)
La phrase « recharger une voiture électrique » a été attribuée au sujet « Stationnement » plutôt qu’à « Voitures électriques » en raison d’un chevauchement entre les deux sujets. En examinant cela, Aplysia OS s’est rendu compte de la confusion grâce aux commentaires d’un client. Il s’est avéré qu’il y avait un chevauchement de phrases mal étiquetées qui étaient ambiguës pour le modèle, ce qui rendait difficile la distinction entre les deux sujets. Aplysia OS a géré ces phrases mal étiquetées, et l’IA a appris à attribuer correctement la phrase « charger les voitures électriques » au sujet le plus pertinent.
Niveau de précision réduit dans les réponses requises
Pour illustrer ce défi, notre Aplysia Lab a sélectionné un jeu de données avec 2554 messages correctement étiquetés avec le sujet (cette annotation a été faite par nos clients au fil du temps). Il y a au moins un message de chaque sujet dans cet ensemble de données. Nous avons exécuté l’IA conversationnelle pour vérifier les résultats avant et après le travail sur la capacité d’auto-apprentissage.
Vous trouverez ci-dessous un bref échantillon de l’ensemble des données pour illustrer les résultats. L’exemple montre les messages (dans l’orthographe originale) et les bonnes réponses. Dans les deux dernières colonnes se trouvent les résultats avant et après la mise en œuvre de l’auto-apprentissage.
| Messages originaux | Réponse voulue | Étiquetage correct avant l’auto-apprentissage | Étiquetage correct après auto-apprentissage |
|---|---|---|---|
| Hi there! How are you? We are planning our trip to Sri Lanka for next September and we would like to propose you a collaboration😊 Where can we send an email to the Marketing department? Thanks! | Transfers, Shuttles and Car pick-up service | ✅ | ✅ |
| good morning. I have already made the reservation. I wanted to know the best option to go by train | Transfers, Shuttles and Car pick-up service | ❌ | ✅ |
| would like to offer our company canned pineapple tidbits and rings for you. | Purchasing and Business queries | ✅ | ✅ |
| I want to book a jetski tour | Outdoor activities | ✅ | ✅ |
| Hi what is the best currency to bring to resort | Currency | ❌ | ✅ |
| We are staying next weekend , is the trout fishing in season ? | Outdoor activities | ❌ | ✅ |
| i need to ask if there/’s a minimum number of stay for « book early & save more » offer? | Discounts, Offers and Partnerships | ✅ | ✅ |
| I need broucher for water sport activities with prices | Water Sports | ✅ | ✅ |
| Seafood Buffet | Buffet | ❌ | ✅ |
| Can you email me the hotel to ask for a taxi to pick us up at the airport? | Taxi service | ✅ | ✅ |
Comme illustré, les messages pour lesquels les bonnes réponses n’ont pas été attribuées correctement initialement, après l’auto-apprentissage ont reçu les bonnes réponses. Les phrases présentées peuvent avoir été certaines que l’IA conversationnelle a dû apprendre et adapter ses connaissances en conséquence.
Il convient de noter que bien que cet exemple montre des cas dans lesquels l’IA a appris la réponse, il y a des cas où le personnel de l’hôtel client a soumis des phrases qui peuvent ne pas avoir de sens et, comme expliqué précédemment, Aplysia OS empêche l’IA d’apprendre ces cas.
Le graphique ci-dessous montre l’exactitude et la précision du modèle d’IA conversationnelle avant et après l’auto-apprentissage.
Compte tenu de tous les changements proposés par l’outil d’auto-apprentissage, nous avons amélioré le modèle et n’avons enregistré aucune dégradation sur les réponses précédentes que l’IA donnait déjà correctement.
En plus de la capacité de l’IA conversationnelle à aborder et à résoudre les défis présentés plus haut dans cet article, nous avons quand même pu obtenir de meilleurs résultats d’environ 4% sur cet ensemble de données. D’autres jeux de données ont été testés et en moyenne nous avons observé de meilleurs résultats d’environ 5% après une semaine d’auto-apprentissage.
En conclusion, cette fonctionnalité de notre système d’exploitation Aplysia permet à notre IA conversationnelle d’apprendre au fil du temps en répondant aux souhaits de nos clients. De plus, les résultats s’améliorent avec le temps et HiJiffy perfectionne continuellement notre modèle pour le secteur de l’hôtellerie.
Merci à Eduardo Machado de notre Aplysia Lab pour sa contribution à cet article.
Eduardo Machado
Data Engineer
Rejoignez notre liste et accédez aux meilleurs articles chaque mois.
Financement:
