A Mistral anunciou nesta segunda-feira, 17, o seu pequeno modelo de linguagem (SLM), o Mistral Small 3.1. Construído a partir do modelo anterior, o Mistral Small 3, a nova versão segue a jornada multimodal e multilinguística para uma série de tarefas que demandam inteligência artificial generativa, como:
- Assistência conversacional para ser aplicada em atendimento ao cliente, assistentes virtuais ou auxílio em educação e treinamento;
- Compreensão de texto e imagem para verificação de documentos ou inspeção visual, por exemplo;
- Capacidade de entender e seguir as instruções do usuário (instruction following, no original em inglês) de baixa latência, como resumir ou traduzir um texto com mais velocidade e menos erros;
- Capacidade de invocar funções ou ações específicas, vide realizar buscas na web ou se conectar a uma API externa.
Esses avanços foram feitos por meio de uma expansão da janela de contextualização, de 33 mil para 128 mil tokens, o que permite o SLM atuar em conversas mais longas, leitura de documentos mais extensos e melhorar a compreensão do contexto. Por outro lado, o modelo manteve a velocidade de inferência (treino ou capacidade de processar e gerar texto) em 150 tokens por segundo da versão anterior – ou seja, 150 vezes a inferência da menor unidade de texto por segundo.
A ideia é que o SLM possa ser usado para desenvolvimento de aplicações industriais, científicas e voltadas ao consumidor comum.
Configuração e disponibilidade do Mistral Small 3.1
De acordo com a companhia, Mistral Small 3.1 pode ser usado em computadores de prateleira, como em único PC Windows com a RTX 4090 ou Apple Mac com 32 GB; em outras palavras, equipamentos potentes e caros (acima de R$ 20 mil), mas, mais baratos que horas mensais em um serviço em nuvem.
A partir desta segunda-feira, o SLM da empresa francesa está disponível no Hugging Face, La Plateforme e Google Cloud Vertex AI. Nas próximas semanas chegará ao NVIDIA NIM e Microsoft Azure AI Foundry.
Imagem principal: Ilustração produzida por Mobile Time com IA
