Dos sites de busca às centrais de atendimento, das agências de publicidade aos escritórios de advocacia, da educação às artes, é difícil encontrar uma atividade econômica que não seja impactada pela chegada da inteligência artificial generativa. Para um segmento em particular a transformação é mais imediata e profunda: o de plataformas e empresas que desenvolvem chatbots. Da noite para o dia, seus clientes estavam demandando a evolução dos assistentes virtuais com a nova tecnologia. Os players desse mercado passaram os primeiros meses do ano construindo novas ferramentas ou adaptando suas plataformas para incorporar os chamados LLMs (Large Language Models). Foi uma verdadeira corrida pela IA generativa, conforme Mobile Time previu que aconteceria, em matéria publicada em janeiro. Mas ainda há incertezas sobre como será o modelo de negócios e o custo para o uso dessa tecnologia no futuro, conforme indicam fontes entrevistadas para esta reportagem.
Marcelo Hein, da Blip: “Quase 100% dos nossos clientes querem adotar IA generativa. Temos uma fila de clientes pedindo”
“Quase 100% dos nossos clientes querem adotar IA generativa. Temos uma fila de clientes pedindo”, relata Marcelo Hein, CSO da Blip. Beerud Sheth, CEO e fundador da indiana Gupshup, confirma: “Notamos um interesse significativo dos nossos clientes (por chatbots com IA generativa)”.
Ao longo do primeiro semestre de 2023, um a um, os principais players do mercado de bots no Brasil foram anunciando a incorporação dessa tecnologia ao seu portfólio de produtos, como Blip, Botmaker, Gupshup, Inbot, Kore.AI, Sinch, Zenvia, dentre outros. Em alguns casos, as plataformas foram integradas, via API, com algum LLM, mas a contratação do recurso de IA generativa fica a cargo do cliente B2B. Em outros, a tecnologia foi incorporada como um recurso nativo dentro da plataforma de construção do bot e seu custo é embutido no preço cobrado pelo desenvolvedor.
Flávia Pollo Nassif, da DMA Brasil: “Os menus DialMyApp sempre foram e sempre serão agnósticos a tecnologias”
Nessa corrida, os players do mercado de bots precisam tomar uma decisão estratégica sobre qual LLM adotar. A predominância por enquanto é da OpenAI, por ter sido a pioneira, atraindo a atenção do grande público e das empresas. Mas outras opções estão chegando, como watsonx, da IBM, e PaLM 2, do Google, além de versões open source, mais baratas. A Ubots, por exemplo, é uma que está trabalhando com o PaLM 2, do Google. Outro caminho possível é ser agnóstico quanto ao LLM e trabalhar com vários. Foi o que decidiu fazer a Kore.AI, que criou um hub conectado a vários LLMs, deixando seu cliente livre para escolher seu favorito. A mesma estratégia é seguida pela DialMyApp, que está adaptando a sua plataforma para oferecer diferentes opções de LLM, inclusive trazidas pelos seus clientes. “Os menus DialMyApp sempre foram e sempre serão agnósticos a tecnologias. Não vai ser diferente agora”, argumenta Flávia Pollo Nassif, CEO da companhia.
Aplicações internas
Antes de permitir que um bot com IA generativa converse diretamente com o consumidor final, muitos desenvolvedores estão aplicando essa tecnologia para melhorar a construção dos próprios robôs de conversação ou para auxiliar os atendentes humanos.
Fábio Ferreira, da Kore.AI: “Os LLMs estão servindo como um acelerador para curadoria e implementação de bots”
“Os LLMs estão servindo como um acelerador para curadoria e implementação de bots. Um UX writer não parte mais do zero. Ele pode pedir para o LLM gerar 100 frases diferentes de como se solicita a segunda via de uma conta, por exemplo. O grande trabalho de quem cria um bot é acertar como alguém vai perguntar alguma coisa”, diz Fábio Ferreira, diretor de vendas para a América Latina da Kore.AI.
A Gupshup foi uma das primeiras a incorporar um LLM em sua ferramenta de construção de bots, chamada Auto Bot Builder, o que foi feito em janeiro deste ano, com o modelo GPT-3 da OpenAI. Neste caso, a IA generativa é utilizada para construir os bots com base em conteúdo fornecido pela empresa, como website, documentos, histórico de mensagens, catálogos de produtos etc.
A Ubots, por sua vez, está testando com alguns clientes uma funcionalidade em que a IA generativa gera para o atendente um resumo do histórico de conversas que o consumidor já teve com a marca naquele canal, melhorando o atendimento. Também está em desenvolvimento uma outra funcionalidade em que a IA generativa vai analisar todas as conversas em determinado período para inferir tendências ou gerar insights.
A Sinch tem orientado seus clientes a usarem a IA generativa como um copiloto para os atendentes humanos, sugerindo respostas, mas sem enviá-las diretamente para o consumidor, enquanto a tecnologia vai ganhando maturidade, explica Marcia Asano, COO da Sinch.
O smarters também testou IA generativa para uma aplicação interna com um cliente, neste caso, para auxiliar na moderação de conversas com bots.
Campanhas de marketing em canais de mensageria, como WhatsApp, também estão sendo beneficiadas pela IA generativa. Em vez de fazer um teste A/B com apenas duas opções, a tecnologia é utilizada para criar inúmeras versões do texto, que são enviadas para pequenas amostras de consumidores e têm os resultados comparados para se decidir qual funciona melhor. Isso assegura uma comunicação mais eficiente e evita a corrosão do canal.
Cases de sucesso
As primeiras experiências de sucesso no uso de IA generativa em chatbots começam a aparecer. Um grande banco, cliente da Blip, vem usando desde março o ChatGPT para sugerir os textos das mensagens dos atendentes que vendem empréstimos através do WhatsApp. Para verificar a eficiência dessa tecnologia, os atendentes foram divididos em dois grupos: um com acesso ao ChatGPT e outro, não. O grupo com ChatGPT aceitava quatro a cada cinco sugestões de mensagens da IA generativa e registrou uma conversão 117% maior que o outro grupo, no qual os atendentes não eram apoiados por IA generativa. A diferença positiva é atribuída em parte ao ganho de escala que a tecnologia proporcionou, mas também à melhora na qualidade das mensagens.
Na Índia, uma grande seguradora cliente da Gupshup adotou um bot no WhatsApp com IA generativa para treinar sua base de corretores e consultores. “Os consultores podem perguntar sobre produtos, políticas da empresa etc, via WhatsApp, e o bot traz respostas precisas, tornando-o quase como um tutor de bolso”, compara Sheth, da Gupshup.
Hein, da Blip, relata o caso de uma montadora que vinha tentando há anos levar seu manual de carro para dentro do WhatsApp com um bot, mas não tinha sucesso. Com IA generativa, a equipe da Blip conseguiu construir isso em duas semanas, dando respostas precisas e ainda mostrando o PDF da página do manual que confirmava a informação.
Incertezas no modelo de negócios
A construção de LLMs requer investimentos pesados e de longo prazo, além de muita capacidade de processamento e armazenamento de bancos de dados gigantescos. Trata-se, portanto, de uma tecnologia cara. Para complicar, ninguém sabe muito bem como cobrar por ela. A primeira tentativa é de cobrar por “token”, que consiste em um pequeno trecho de texto, não exatamente uma palavra, mas um conjunto de caracteres. A quantidade de caracteres por token varia, mas em geral fica entre um e seis. Ou seja, não é algo simples de explicar e de se prever o custo final – veja aqui uma simulação da OpenAI para contagem de tokens. Para os especialistas entrevistados por Mobile Time, a tendência é que outras formas de precificação, mais compreensíveis, sejam adotadas no futuro, e também que os preços da IA generativa caiam, conforme se aumenta a competição nesse mercado, puxada especialmente pelas versões open source de LLM.
Rafael Souza, da Ubots: “A complexidade do software não pode passar para o usuário”
“O custo está nitidamente em teste. Pouca gente sabe o que é um token. É muito técnico. Esse é um desafio. O modelo de cobrança vai ter que mudar. Talvez vire por mensagem, sentença, ou tamanho de texto. A complexidade do software não pode passar para o usuário”, argumenta Rafael Souza, cofundador e CEO da Ubots.
Sheth, da Gupshup, lembra que a OpenAI já reduziu várias vezes o preço do acesso às suas APIs desde que foram abertas ao público, e aposta que a competição entre LLMs vai levar a uma queda ainda maior.
Hein, da Blip, discorda que o preço esteja caro. “É caro se você não souber usar. Você não precisa de um bisturi de precisão eletrônica para cortar um filé de frango, basta uma faca normal de cozinha. Você precisa de uma plataforma que consiga selecionar em quais usos você deve empregar IA generativa e em quais não deve”, argumenta.
Riscos
A IA generativa não é isenta de riscos e eles precisam ser levados em conta para projetos de bots corporativos, que carregam a identidade de uma marca e todo o peso dessa responsabilidade.
Um dos riscos mais conhecidos é o das “alucinações”, quando a IA generativa inventa respostas falsas. E pior: apresenta essas respostas com segurança, como dona da verdade. Para evitá-lo, é preciso limitar e monitorar o banco de dados que fornece o conhecimento do assistente virtual. Abrir completamente um bot de empresa para responder sobre qualquer coisa integrado ao ChatGPT é bastante arriscado.
Outro risco está relacionado à segurança dos dados, tanto dos clientes quanto dados estratégicos da empresa. Novamente, é fundamental que se tenha controle sobre o fluxo desses dados. Uma integração direta de bot corporativo com um LLM aberto pode provocar vazamento de dados pessoais, infringindo a LGPD.
Existe ainda o risco do chamado “prompt injection”, que consiste no interlocutor humano tentar, de má fé, enganar os controles de segurança do bot para fazê-lo agir de maneira inapropriada.
Combinação de tecnologias
A história dos chatbots pode ser dividida em três gerações, de acordo com sua evolução tecnológica. A primeira foi marcada pelo uso de árvore de decisão, com uma conversa guiada por um roteiro com opções de perguntas e respostas pré-definidas. A segunda consistiu na adoção de motores de processamento de linguagem natural (PLN), como Watson e LUIS, capazes de reconhecer a intenção por trás de cada mensagem do usuário e entregar respostas pré-estabelecidas. A terceira e mais recente é caracterizada pela chegada da IA generativa. Embora esta última seja disruptiva, ela não joga as anteriores no lixo. Pelo menos não neste momento. A expectativa é de que as três gerações sejam combinadas. Cada uma se adequa melhor a determinadas situações e uma pode ajudar a outra – a IA generativa pode melhorar a construção de bots com PLN, por exemplo.
Marcia Asano, da Sinch: “Para serviços em que o chat é necessário para dar uma resposta rápida e precisa, a árvore de decisão combinada com botões e lista de respostas é ainda a melhor técnica”
“Para serviços em que o chat é necessário para dar uma resposta rápida e precisa, a árvore de decisão combinada com botões e lista de respostas é ainda a melhor técnica. Para respostas abertas, a PNL serve como um direcionador do assunto e permite afunilar o leque de opções. Por outro lado, a IA generativa pode dar respostas mais completas e elaboradas para assuntos que requerem instruções e complemento às respostas anteriormente direcionadas ao serviço, bem como apoiar agentes na construção de respostas elaboradas e bem redigidas”, comenta Asano, da Sinch.
“Os modelos de IA generativa se destacam em tarefas criativas, gerando respostas diversas e contextualmente relevantes, mas têm limitações no que se refere ao tamanho do contexto que podem processar eficientemente. Para tarefas que requerem o processamento de grandes quantidades de dados, modelos mais antigos baseados em PLN ainda podem desempenhar um papel vital. Esses modelos legados podem ser utilizados para tarefas de pré-processamento e pós-processamento, otimizando a entrada e a saída para modelos de IA generativa, que podem então lidar com tarefas mais complexas”, acrescenta Sheth, da Gupshup.
Beerud Sheth, da Gupshup: “Para tarefas que requerem o processamento de grandes quantidades de dados, modelos mais antigos baseados em PLN ainda podem desempenhar um papel vital”
De todo modo, a chegada da IA generativa ajudou a alinhar as expectativas das empresas e dos consumidores sobre o que é possível fazer com um robô de conversação. Samir Ramos, CVO e cofundador do smarters, lembra que quando surgiram os primeiros modelos de PLN, houve um descompasso nessas expectativas: muita gente esperava uma “super IA”, mas a tecnologia oferecia algo que se assemelhava mais a uma automação de processos. “Agora a gente está falando na mesma ‘frequência’ com os clientes. A OpenAI botou todos nós na mesma página”, comenta o executivo.
E na opinião de Hein, da Blip, a IA generativa vai provocar uma demarcação do mercado, separando os players que são meros brokers de mensageria daqueles que oferecem plataformas robustas de robôs de conversação. “Todo mundo fala de IA generativa, mas é difícil separar o joio do trigo. Vai ter gente que vai saber aplicar as novas tecnologias e outros que vão virar broker de WhatsApp”, resume.
Samir Ramos, do smarters: “Agora a gente está falando na mesma ‘frequência’ com os clientes. A OpenAI botou todos nós na mesma página”
A corrida da IA generativa já começou. Alguns largaram na frente, outros estão ficando para trás. Mas não é uma corrida de 100 metros, e sim uma maratona que vai durar anos e que terá alguns obstáculos técnicos, comerciais e regulatórios pelo caminho. E nunca se sabe quando uma nova tecnologia pode surgir e mudar todo o trajeto.
Super Bots Experience e Mapa do Ecossistema de Bots
Mobile Time está trabalhando nos dados do novo Mapa do Ecossistema Brasileiro de Bots. Uma prévia com informações relacionadas à adoção de IA generativa deve ser publicada nos próximos dias. E na semana que vem será realizado o 9º Super Bots Experience, no qual o tema IA generativa estará presente em diversos painéis e palestras, inclusive com a participação de todos os entrevistados desta matéria, além de executivos de IBM, Google, Microsoft, WhatsApp, Rede Globo, Bain & Company, Inbot, Interactive Media, Yup Chat, Claro, TIM, Vivo, Itaú, Bradesco, Banco do Brasil, Inter, Sabesp, Atento, Cora, Mutant, aivo, Nama, Zenvia, ITS Rio, ABES e muito mais. A programação completa e mais informações estão disponíveis em www.botsexperience.com.br.
