- O Tiiny AI Pocket Lab executa grandes modelos localmente, evitando a dependência da nuvem
- O Mini PC executa tarefas de inferência avançadas sem suporte de GPU discreto
- Modelos de 10B a 120B funcionam offline com 65W de potência
Tiiny, uma startup americana, lançou o AI Pocket Lab, um supercomputador de IA de bolso capaz de executar localmente grandes modelos de linguagem.
O dispositivo é um mini PC projetado para executar cargas de trabalho de inferência avançadas sem acesso à nuvem, servidores externos ou aceleradores discretos.
A empresa afirma que todo o processamento ocorre offline, o que elimina a latência da rede e limita a exposição de dados externos.
Construído para executar modelos grandes sem a nuvem
“A IA na nuvem trouxe avanços significativos, mas também criou desafios de dependência, vulnerabilidade e sustentabilidade”, disse Samar Bhoj, Diretor de GTM da Tiiny AI.
“Com o Tiiny AI Pocket Lab, acreditamos que a inteligência não deve pertencer aos data centers, mas às pessoas. É assim que a IA avançada se torna verdadeiramente acessível, privada e pessoal, trazendo o poder dos grandes modelos da nuvem para cada dispositivo individual.”
O Pocket Lab é voltado para grandes modelos pessoais projetados para raciocínio complexo e tarefas contextuais longas, operando com uma potência limitada de 65W.
Tiiny afirma desempenho consistente para modelos na faixa de parâmetros 10B-100B, com suporte estendendo-se até 120B.
Este limite superior se aproxima da capacidade dos principais sistemas de nuvem, permitindo que o raciocínio avançado e o contexto estendido sejam executados localmente.
O Guinness World Records certificou o hardware para rodar modelos locais da classe 100B.
O sistema usa uma CPU ARMv9.2 de 12 núcleos emparelhada com um módulo AI heterogêneo personalizado que fornece aproximadamente 190 TOPS de computação.
O sistema inclui 80 GB de memória LPDDR5X junto com um SSD de 1 TB, e a potência total permanece dentro do sistema em 65W.
Seu tamanho físico se parece mais com um grande drive externo do que com uma estação de trabalho, reforçando sua marca voltada para o bolso.
Embora as especificações se assemelhem a um chip estilo Houmo Manjie M50, dados independentes de desempenho do mundo real ainda não estão disponíveis.
Tiiny também enfatiza um ecossistema de código aberto que suporta a instalação com um clique dos principais modelos e estruturas de agentes.
A empresa afirma que fornecerá atualizações contínuas, incluindo o que descreve como atualizações de hardware OTA.
Esta frase é problemática porque os mecanismos tradicionalmente over-the-air se aplicam ao software.
A declaração sugere uma redação inadequada ou erro de marketing, em vez de uma mudança literal de hardware.
A abordagem técnica é baseada em duas otimizações orientadas por software, em vez de dimensionar o desempenho do silício bruto.
O TurboSparse depende da ativação seletiva de neurônios para reduzir o custo de inferência sem alterar a estrutura do modelo.
O PowerInfer divide as cargas de trabalho em componentes heterogêneos, coordenando a CPU com uma NPU dedicada para aproximar o desempenho do nível do servidor com menor consumo de energia.
O sistema não inclui uma GPU discreta e a empresa afirma que uma programação cuidadosa elimina a necessidade de aceleradores caros.
Estas afirmações indicam que os ganhos de eficiência, em vez do hardware de força bruta, servem como o principal diferenciador.
A Tiiny AI posiciona o Pocket Lab como uma resposta às pressões de sustentabilidade, privacidade e custos que afetam os serviços centralizados de IA.
A execução local de grandes modelos de linguagem pode reduzir a sobrecarga recorrente da nuvem e limitar a exposição a dados confidenciais.
No entanto, as afirmações sobre capacidade, desempenho de nível de servidor e hardware livre de escala continuam difíceis de verificar de forma independente.
Através TechPowerUp
Siga o TechRadar no Google Notícias e adicione-nos como sua fonte padrão para receber notícias, opiniões e opiniões de nossos especialistas em feeds. Certifique-se de clicar no botão Continuar!
E é claro que você também pode Siga o TechRadar no TikTok para receber novidades, análises, unboxings em formato de vídeo e receber atualizações constantes nossas WhatsApp também
