O CEO e fundado da Groq, Jonathan Ross, alertou que o problema da inteligência artificial não é a falta de unidades de processamento gráfico (GPU), uma vez que as empresas que produzem esses insumos (AMD e NVIDIA, por exemplo) podem escalar sua fabricação com a infraestrutura atual.
Para o executivo da empresa de semicondutores, a questão é a memória que abastece o poder computacional dos datacenters, as high bandwidth memory (HBM). Durante o Cisco AI Summit nesta quarta-feira, 22, o executivo apontou este como o maior problema da IA.
Ross apontou que o setor de memória para data center é um mercado pequeno, se comparado com os chips e memórias de handset. Porém, os dois usam as mesmas forjas para serem construídos. Com isso, o aumento da produção das HBM é preterido ante o lucrativo mercado móvel.
Para Ross, o fato de não ter memória HBM o suficiente para data center pode trazer um limite na produção da inteligência artificial. Isso em um momento que o mercado precisa acelerar do treinamento de modelos de fundação para inflexão da IA.
Para Cisco, energia é outra questão
Martin Lund, vice-presidente sênior da Cisco em common hardware
Para Martin Lund, vice-presidente sênior da divisão de common hardware (semicondutores) da Cisco, o maior risco estratégico para o desenvolvimento da IA é o consumo de energia dos chips que não estão preparados corretamente para treinamentos e inflexões de IA.
Ross reforça que, atualmente, o mercado de IA está “desleixado” com o uso de energia. Também acredita que existe um paradoxo por três fatores:
1. uma unidade de produção de energia leva 20 anos para ter retorno sobre o investimento;
2. ?o data center que permite treinar modelos e rodar aplicações, deveria durar dez anos, mas a alta demanda e o alto consumo de energia está fazendo muitos passarem por retrofit antes disso;
3. ?A dinâmica rápida e a alta competitividade no mercado de IA, pois uma empresa precisa atuar com agilidade e colocar em uso a sua aplicação criada em até seis meses para ter retorno financeiro em dois anos.
“Sei de áreas que hoje tem gigawatts de energia disponíveis, mas não podem ser usados. E temos áreas com várias indústrias e prédios (de data center) que não têm muita energia disponível)”, disse o executivo.
Lund também reforça que esse paradoxo também acontece com os semicondutores, pois, à medida que se consome mais GPUs e memórias HBMs, a demanda por inteligência artificial crescerá. Neste cenário, Ross acredita que as empresas não devem ter receio de investir.
“Por isso, o mercado de IA não precisa de uma longevidade, porque os modelos estão saindo e melhorando rápido. Mas, ao mesmo tempo, os chips de IA (como as GPUs) são caros se você estiver querendo fazer um retorno de investimento em cinco anos”, apontou Ross.
Vale lembrar, os desafios da IA em semicondutores e outros setores foram apresentados por Mobile Time no especial sobre as expectativas para 2025 e mais recentemente em uma entrevista com Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.
Imagem principal, da esquerda para direita: Jeetu Patel, VP da Cisco; Jonathan Ross, CEO da Goq; Martin Lund, VP da Cisco (reprodução/Cisco AI Summit)
