A chegada de modelos de inteligência artificial generativa causaram alvoroço no mundo dos bots. Mas, passado o frenesi inicial, o mercado começa a se dar conta que não haverá uma substituição da tecnologia por trás dos robôs de conversação da noite para o dia. Entre os obstáculos estão o custo e a latência da IA generativa. A solução pode estar na combinação entre essa nova tecnologia e as antigas, como a arquitetura de árvore de decisão, construindo bots híbridos. A sugestão parte de Felipe Fiamozzini, expert partner em advanced analytics da Bain & Company, parceira preferencial da OpenAI. O executivo estará no painel de abertura do Super Bots Experience 2023.
Para criar um bot com o modelo GPT da OpenAI, uma empresa deve primeiramente construir um banco de dados com o seu próprio conteúdo. As informações são transformadas em “embeddings”, ou representações numéricas, facilitando a busca de respostas pelo bot. É fundamental o trabalho de curadoria, para a definição das informações que vão virar embeddings. O banco de dados, chamado de “vector DB”, fica associado a uma instância do modelo GPT dedicada exclusivamente à empresa contratante, o que garante que todo o aprendizado e novo conteúdo gerado ficarão restritos a ela, ou seja, não será compartilhado com o “modelo-mãe” que alimenta o ChatGPT para o público em geral. Essa versão corporativa fica hospedada na nuvem contratada junto à própria OpenAI ou com a Microsoft, por exemplo.
O modelo de negócios da OpenAI consiste na cobrança de chamadas para as suas APIs. O envio de embeddings para o banco de dados, por exemplo, consome chamadas a uma API com essa finalidade. Depois, na utilização do bot, cada troca de mensagens também significa chamadas a outra API, a de “Chat Completion”. Neste caso, a cobrança é feita pela quantidade de “tokens”, que equivalem a pedaços do texto – cada token corresponde a aproximadamente quatro caracteres (veja uma simulação aqui). Pode-se pagar conforme o uso ou, no caso de grandes empresas, fechar um acordo com um determinado limite de tokens por minuto.
Dependendo do volume de conversas, tudo isso acaba saindo caro. “Gestão de custo é um dos principais pontos que precisamos pensar nos projetos. A solução para boa parte das empresas é fazer uma orquestração com diferentes modelos”, recomenda Fiamozzini. Ou seja, a melhor saída pode ser a combinação entre bots de primeira, segunda e terceira geração – leia mais sobre essa classificação neste artigo.
A arquitetura em árvore de decisão pode servir para aplicações mais simples do bot, por exemplo. Caso a intenção seja complexa, pode-se puxar a resposta pela IA generativa. Em último caso, faz-se o transbordo para um atendente humano. Além disso, é possível usar uma solução de cache para as perguntas mais frequentes, evitando o acesso ao GPT.
Felipe Fiamozzini, da Bain & Company: “Gestão de custo é um dos principais pontos que precisamos pensar nos projetos”
Latência
Outro problema da IA generativa é o tempo de resposta, ou latência. Para minimizar a espera, uma alternativa, no caso de sites na web, é entregar o texto aos poucos, conforme vai sendo criado. É assim que o ChatGPT faz, por exemplo. Funciona melhor do que aguardar a construção de um bloco extenso de texto para enviá-lo todo de uma vez. Mas não dá para fazer isso dentro de apps de terceiros, como o WhatsApp, pondera o executivo da Bain & Company. Outra forma de mitigar a latência é trabalhando com uma solução de cache. A ideia da orquestração de bots híbridos também contribui.
Demanda
A Bain & Company já tem 26 projetos em andamento de IA generativa da OpenAI com empresas ao redor do mundo, inclusive no Brasil. Um deles é um teste-piloto do Carrefour na França para compras online: o consumidor pode escrever que vai fazer um churrasco para determinado número de pessoas, informar quantas bebem álcool, estipular um limite de orçamento, e receber de volta uma sugestão de lista de produtos, por exemplo.
Boa parte da procura por IA generativa na Bain vem de empresas que já possuem chatbots em operação. “Existem empresas que pensam em substituir completamente seus bots atuais e outras que querem substituir somente para determinadas jornadas. Em alguns casos, do ponto de vista de latência e de gestão de custo, é melhor manter o bot tradicional, e, para jornadas mais abertas, adotar IA generativa”, recomenda.
Na sua visão, o ano de 2023 ainda será de muita experimentação e testes internos. O grande volume de atualizações de bots de empresas com IA generativa deve acontecer dentro de um ano e meio, prevê.
Em paralelo, o executivo projeta que haverá uma tendência de internalização dos bots pelas grandes empresas, em um movimento contrário à terceirização que ocorreu nos últimos anos. Isso deve acontecer conforme os bots deixam de ser um mero canal de atendimento para se aproximarem mais do core dos negócios, tornando-se uma peça estratégica.
Super Bots Experience
Fiamozzini participará do painel de abertura do Super Bots Experience 2023, sobre a disrupção causada pela IA generativa no mercado de bots. Ele terá a companhia de Cássio Bobsin, CEO, Zenvia; Flávia Pollo Nassif, CEO da DialMyApp Brasil; Marcelo Hein, CSO da Blip; e Rafael Souza, CEO da Ubots. O evento acontecerá dias 1 e 2 de agosto, no WTC, em São Paulo. A agenda atualizada e mais informações estão disponíveis em www.botsexperience.com.br
