Nova opção de Desktop Framework com AMD Ryzen AI Max+ Pro 495 e 192GB de Memória

Artigo original ↗ Discussão no Hacker News ↗

Uma nova configuração do Framework Desktop com um chip AMD Ryzen AI Max+ 495 e 192GB de memória unificada LPDDR5X está despertando interesse entre pessoas que querem uma máquina compacta e eficiente em energia para cargas locais de LLM e IA, mas também preocupação com preço, disponibilidade e escassez de RAM no longo prazo. Os comentários observam que, embora a enorme capacidade de memória permita modelos maiores ou múltiplos modelos, a largura de banda relativamente modesta limita o desempenho em LLMs densos muito grandes, tornando modelos mixture-of-experts e modelos menores mais práticos. Também há debate sobre a escolha da Framework por memória unificada soldada e não-ECC e por um SoC proprietário, em vez de um design mais reparável com soquete, destacando uma troca entre modularidade e arquiteturas de alta largura de banda voltadas para IA.

Capacidade de RAM, preços e perspectiva de mercado

  • As configurações existentes do Framework Desktop com 128GB ficaram muito mais caras e frequentemente esgotadas, amplamente atribuído a uma escassez de DRAM.
  • Respostas da empresa dizem que não há sinal de os preços de LPDDR5X caírem no próximo ano; a expectativa é de aumentos substanciais nos próximos seis meses.
  • A pesquisa de mercado citada prevê que os preços de DRAM podem não se normalizar até ~2030–2031, mesmo com nova capacidade na China.
  • O excesso passado de RAM (por exemplo, prejuízos da Micron em 2023) reduziu os investimentos; controles de exportação sobre ferramentas de fabricação são vistos como um fator adicional de restrição à oferta.
  • Alguns argumentam que os fabricantes de memória têm pouco incentivo para aumentar a produção, chamando isso de uma falha de mercado em que os governos deveriam intervir.
  • Roadmaps mencionados: o futuro “Medusa Halo” com LPDDR6 de 384 bits, mirando 256GB no lançamento e potencialmente 512GB depois, mas os prazos (≈1,5 anos) e os roadmaps dos fornecedores são tratados como incertos.

Desempenho, LLMs e uso no mundo real

  • Muitos compradores usam o sistema atual 395 com 128GB como um servidor local de LLM ou de desenvolvimento e, no geral, estão satisfeitos.
  • Vários observam que a largura de banda da memória, e não a capacidade, é o principal gargalo: ~256 GB/s no 395 versus ~273 GB/s no novo 495 é descrito como um ganho modesto.
  • Relatos de experiência:
    • Modelos MoE de 35B (por exemplo, variantes do Qwen) podem atingir velocidades aceitáveis; um modelo denso de 27B já está no limite inferior de tolerância, e um 70B denso é visto como impraticável.
    • Outros relatam bom desempenho com modelos maiores quantizados e múltiplos agentes concorrentes quando configurados com cuidado.
  • Um tema recorrente: uma RAM muito grande (192GB+) é mais útil para executar vários modelos pequenos/médios ao mesmo tempo, ou combinar LLMs com modelos de imagem/vídeo, em vez de um único modelo denso enorme.
  • Alguns usam a máquina para jogos em 1440p/4K com upscaling e estão satisfeitos, mas jogadores sérios são aconselhados a considerar uma configuração com GPU discreta.

Design, reparabilidade e formato

  • A placa-mãe usa Mini-ITX padrão e a fonte é FlexATX; várias pessoas colocaram a placa em gabinetes ATX padrão.
  • Há um debate intenso sobre memória unificada soldada:
    • Um lado argumenta que isso mina o ethos de reparabilidade da Framework e que um desktop com CPU/RAM em soquete seria mais alinhado à marca e suficiente para a maioria dos usuários.
    • O contra-argumento: memória unificada de alta largura de banda para grandes cargas locais de IA exige praticamente LPDDR/HBM soldada devido a limites de integridade de sinal; alternativas encaixáveis não conseguem igualar a mesma largura de banda/caso de uso em IA, e desktops genéricos reparáveis já existem.

Nome, posicionamento e concorrentes

  • O nome “Ryzen AI Max+ Pro 495” é amplamente ridicularizado por ser exagerado e confuso; outros o defendem como sistemático (AI = NPU, Max+ = canais de memória, Pro = recursos de segurança).
  • Comparações de largura de banda com supostos chips Apple M-series Ultra destacam que o sistema da Framework mira um nicho de menor custo, mas também de menor largura de banda.
  • Há preocupações de que a alta demanda (semelhante à do 395) possa manter o novo SKU de 192GB caro e difícil de comprar.

ECC e confiabilidade

  • Alguns descartam o produto por não ter memória ECC; outros contrapõem que o ECC realmente relata e corrige erros quando suportado de ponta a ponta e continua valioso para detectar RAM com falhas.
  • Um comentário lateral contrasta a raridade de erros de RAM com a ubiquidade de alucinações de LLM, mas isso é rejeitado por perder o ponto sobre confiabilidade de hardware.

UX do site e acessibilidade

  • Um usuário relata problemas de navegação por teclado e leitor de tela no formulário de inscrição por e-mail.
  • A empresa reconhece isso como um bug e o adiciona ao backlog, o que é recebido positivamente.