- A largura de banda Thunderbolt 5 aproxima o hardware de GPU externo do território da estação de trabalho
- A inferência de IA local está ganhando atenção à medida que os custos da nuvem continuam a aumentar
- Os desenvolvedores estão explorando cada vez mais modelos de linguagem que rodam diretamente em hardware pessoal
Os gabinetes de GPU externos já existem há muito tempo – geralmente associados a laptops para jogos e tarefas de aceleração gráfica que excedem as capacidades dos processadores móveis.
O recentemente lançado TBT5-AI da Plugable se enquadra nesta categoria, mas apresenta um design focado na conexão de hardware gráfico de desktop a laptops para cargas de trabalho locais de IA.
O gabinete oferece um slot PCIe x16 que permite aos usuários instalar uma placa gráfica de desktop dentro do chassi externo.
O artigo continua abaixo
Hardware de classe desktop em um gabinete externo
Uma fonte de alimentação integrada de 850 watts fornece a energia necessária para executar GPUs de alto desempenho que funcionariam apenas em estações de trabalho desktop.
Para conectividade, este dispositivo vem com um único cabo Thunderbolt 5 que permite uma conexão direta a um laptop e suporta até 80 Gbps de largura de banda, e um modo boost pode aumentá-lo para 120 Gbps para determinadas cargas de trabalho.
Dentro do gabinete, essa largura de banda conecta a GPU instalada por meio de pistas PCIe 4.0 x4, reduzindo os gargalos de transferência que anteriormente limitavam os designs de GPU externos.
Além de acomodar a placa gráfica, o sistema atua como um hub que estende a conectividade ao laptop conectado.
Ele fornece 96 watts de potência de carregamento, rede Ethernet de 2,5 gigabit e várias portas USB de alta velocidade.
De acordo com Plugable, muitos engenheiros desejam cada vez mais manter o processamento de modelos e de dados em seus próprios sistemas, e o TBT5-AI fornece isso, pois foi projetado para desenvolvedores que experimentam ambientes locais de inferência de IA.
O dispositivo permite que os desenvolvedores executem grandes modelos de linguagem diretamente no hardware local, em vez de enviar cargas de trabalho para a infraestrutura em nuvem.
Ele oferece suporte a estruturas de IA locais comuns, incluindo llama.cpp, modelos Hugging Face e plataforma de inferência NIM da Nvidia.
Bernie Thompson, diretor de tecnologia de conectividade, disse que o hardware é voltado para indústrias onde a proteção de informações confidenciais continua sendo um requisito operacional crítico.
“A privacidade dos dados não é uma característica, é um mandato”, disse Thompson, referindo-se a setores como saúde, serviços financeiros e instituições jurídicas.
A Plugable também está preparando versões empresariais apelidadas de TBT5-AI16, TBT5-AI32 e TBT5-AI96, que incluirão processadores gráficos.
Essas configurações integrarão um ambiente de software denominado Plugable Chat, descrito como uma plataforma de orquestração de IA para organizações regulamentadas.
A empresa afirma que esses sistemas irão mover o processamento de IA de serviços em nuvem baseados em assinatura para infraestrutura de computação gerenciada localmente.
Custando US$ 599,95 como unidade autônoma, o gabinete Plugable TBT5-AI foi lançado oficialmente há alguns dias e agora está disponível na Amazon e Plugable.com.
via Macfontes
Siga o TechRadar no Google Notícias e adicione-nos como sua fonte padrão para receber notícias, opiniões e opiniões de nossos especialistas em feeds. Certifique-se de clicar no botão Continuar!
E é claro que você também pode Siga o TechRadar no TikTok para receber novidades, análises, unboxings em formato de vídeo e receber atualizações constantes nossas WhatsApp também
