Sobre a capacidade de autoaprendizagem da IA conversacional da HiJiffy

Neste artigo, entraremos no domínio técnico para podermos explorar uma das capacidades mais fascinantes do nosso Aplysia OS – a autoaprendizagem. O que significa? Como funciona? Tendo feito estas perguntas chave à equipa do Aplysia Lab, partilhamos aqui tudo o que aprendemos.

O desenvolvimento do “cérebro” de um chatbot

Antes de aprofundarmos o tema da autoaprendizagem na IA, vale a pena começar por definir exatamente o que é um chatbot neste contexto. Podemos defini-lo como um programa artificialmente inteligente capaz de ter uma conversa com um humano, graças aos últimos avanços na IA e no Processamento de Linguagem Natural (PNL). No entanto, e tal como os humanos, o chatbot não detém todo o conhecimento sobre o mundo desde os seus primórdios. Por vezes, não reconhece palavras ou certas expressões linguísticas específicas porque simplesmente não teve ainda oportunidade de as aprender. Recorrendo a uma analogia, o conhecimento contido no modelo de IA conversacional é como o cérebro de um chatbot.

Estes modelos evoluem e desenvolvem-se ao longo do tempo porque precisam de ser continuamente treinados. Muitas vezes, estas sessões de treino são levadas a cabo por um humano, sem supervisão e sem verificação de como o modelo irá reagir. Se este não for bem-ensinado ou instruído sobre como fazer o seu trabalho corretamente, cometerá erros. 

Sem treino e sem testes completos, é certo que estes modelos enfrentarão os seguintes problemas e desafios:

1. Falta de conhecimento de palavras, frases e expressões.

Existem milhões de expressões, palavras e frases em todo o mundo que projetam diferentes intenções, e o mesmo é válido para de cada dialeto. Isto pode levar a que, ocasionalmente, o chatbot não tenha toda a informação, o que o leva a dar uma resposta errada às perguntas do utilizador.

2. Sobreposição na identificação de tópicos (confusão de tópicos).

Se o modelo não tiver sido alimentado com informação suficiente e necessária para distinguir tópicos semelhantes, pode interpretar incorretamente esses tópicos e oferecer respostas confusas.

3. Redução do nível de exatidão nas respostas solicitadas.

A exatidão do chatbot determina a sua taxa de sucesso e impacta diretamente as capacidades de automatização do chatbot.

Como funciona a autoaprendizagem na IA?

A HiJiffy criou uma ferramenta de autoaprendizagem para a IA conversacional, integrada no Aplysia OS. Por outras palavras, a nossa tecnologia pode aprender sobre novos tópicos, expressões, frases e palavras para responder aos desafios anteriormente apresentados. Consegue identificar mais de 200 tópicos específicos dentro do tema Hospitalidade. Graças à sua capacidade de autoaprendizagem, a IA da HiJiffy é capaz de utilizar o feedback do hóspede para compreender termos e expressões incorretamente identificados. É também capaz de se adaptar para melhor diferenciar os tópicos já existentes no seu modelo e, em última análise, melhorar a precisão das suas respostas, reduzindo a taxa de erro. 

A ilustração seguinte resume bem o fluxo dessa autoaprendizagem:

Tal como referido acima, este sistema de autoaprendizagem baseia-se no feedback dos nossos hóspedes. A HiJiffy permite ao staff do hotel reportar frases de conversas reais com os seus hóspedes sempre que perceberem que a IA não lhes deu a melhor resposta.

Tendo em conta o foco da HiJiffy em conectar os hotéis e os seus hóspedes, e em ajudar as empresas hoteleiras a automatizar os processos, melhoramos continuamente o nosso modelo de IA conversacional para dar a resposta mais exata possível aos hóspedes dos nossos clientes. Todo o feedback é valorizado e utilizado para tornar o nosso modelo ainda melhor.

Com esta premissa em mente, desenvolvemos uma ferramenta de autoaprendizagem que verifica se os casos reportados pelos clientes foram corretamente registados. Com essas frases, conseguiremos testar e medir o impacto das sessões de treino na melhoria do conhecimento do modelo. Esta ferramenta fornecerá métricas específicas e decidirá quais os casos que devem ser alterados e quais não, tendo em conta os mecanismos da IA e da aprendizagem de máquina.

A autoaprendizagem na prática

Para compreender melhor este processo complexo, vamos analisar alguns estudos de caso que demonstram como a nossa ferramenta de autoaprendizagem aborda os três desafios acima mencionados.

Falta de conhecimento de palavras, frases e expressões

A IA conversacional não reconheceu a palavra “seaplane” (hidroavião) como meio de transporte. Um dos nossos clientes reportou esta ocorrência ao Aplysia OS. A ferramenta de autoaprendizagem utilizou esta informação para verificar se o que o cliente tinha escrito era exato e determinar que “seaplane” é um meio de transporte. O Aplysia OS aprovou esta ocorrência e a IA conversacional aprendeu que “seaplane” é um meio de transporte.

Sobreposição na identificação de tópicos (confusão de tópicos)

A frase “charging electric car” (carregar carro elétrico) foi atribuída ao tópico “Parking” (Estacionamento) em vez de a “Electric Cars” (Carros Elétricos) devido a uma sobreposição entre os dois tópicos. Ao rever esta ocorrência, vimos que o Aplysia OS teve a oportunidade de aprender isto através do feedback de um cliente. Verificou-se que havia uma sobreposição de frases por estarem mal anotadas e, por isso, eram ambíguas para o modelo, tornando difícil a distinção entre os dois tópicos. O Aplysia OS corrigiu as frases mal anotadas e a IA aprendeu a atribuir corretamente a frase “charging electric car” ao tópico mais relevante.

Redução do nível de exatidão nas respostas solicitadas

Para ilustrar este desafio, o nosso Aplysia Lab selecionou um dataset com 2554 mensagens que foram corretamente anotadas com um tópico (esta anotação foi feita pelos nossos clientes ao longo do tempo). Para cada tópico deste dataset, existe pelo menos uma mensagem atribuída. Executámos a IA conversacional para verificar os resultados antes e depois do exercício de capacidade de autoaprendizagem.

Para ilustrar os resultados, eis uma breve amostra do dataset. A amostra apresenta as mensagens (na ortografia original) e as respostas corretas. Nas duas últimas colunas, constam os resultados antes e depois da autoaprendizagem ter sido implementada.

Mensagens originais	Resposta pretendida	Anotação correta antes da autoaprendizagem	Anotação correta depois da autoaprendizagem
Hi there! How are you? We are planning our trip to Sri Lanka for next September and we would like to propose you a collaboration😊 Where can we send an email to the Marketing department? Thanks!	Transfers, Shuttles and Car pick-up service	✅	✅
good morning. I have already made the reservation. I wanted to know the best option to go by train	Transfers, Shuttles and Car pick-up service	❌	✅
would like to offer our company canned pineapple tidbits and rings for you.	Purchasing and Business queries	✅	✅
I want to book a jetski tour	Outdoor activities	✅	✅
Hi what is the best currency to bring to resort	Currency	❌	✅
We are staying next weekend , is the trout fishing in season ?	Outdoor activities	❌	✅
i need to ask if there/’s a minimum number of stay for “book early & save more” offer?	Discounts, Offers and Partnerships	✅	✅
I need broucher for water sport activities with prices	Water Sports	✅	✅
Seafood Buffet	Buffet	❌	✅
Can you email me the hotel to ask for a taxi to pick us up at the airport?	Taxi service	✅	✅

Conforme ilustrado, as mensagens que inicialmente não receberam as respostas corretas, acabaram por receber as respostas certas depois da autoaprendizagem. A IA conversacional teve, assim, de aprender e adaptar os seus conhecimentos em conformidade com as frases apresentadas.

Deve notar-se que, embora esta amostra apresente casos em que a IA aprendeu a resposta, há casos em que o staff do hotel cliente reportou frases que podem não fazer sentido e, como explicado anteriormente, o Aplysia OS impede a IA de aprender essas ocorrências.

O gráfico a seguir mostra a exatidão e precisão do modelo de IA conversacional antes e depois da autoaprendizagem. 

Considerando todas as alterações propostas pela ferramenta de autoaprendizagem, melhorámos o modelo e não registámos qualquer degradação nas respostas anteriores que a IA já tinha respondido corretamente.

Para além ser evidente que a IA conversacional consegue abordar e resolver os desafios mencionados anteriormente neste artigo, conseguimos ir mais além e alcançar resultados melhorados em cerca de 4% neste dataset. Foram testados outros dataset e observámos, em média, resultados melhorados em cerca de 5% após uma semana de autoaprendizagem.

Para concluir, esta funcionalidade dentro do Aplysia OS permite que a nossa IA conversacional aprenda ao longo do tempo, indo ao encontro do que os nossos clientes desejam. Além disso, vimos que os resultados melhoram com o tempo e que a HiJiffy tem vindo a aperfeiçoar este modelo para a indústria da hospitalidade de uma forma consistente.

---

Obrigado a Eduardo Machado do nosso Laboratório Aplysia pela sua contribuição para este artigo.

Eduardo Machado
Data Engineer