Lamini
Usando servidores de GPU Supermicro com o AMD Instinct™ MI300X, a Lamini pode oferecer ajuste de LLM em alta velocidade.
Impulsione o sucesso de seus negócios com a tecnologia certa para todas as cargas de trabalho de IA
À medida que o ritmo e a urgência da inovação em IA aumentam, a Supermicro e a AMD estão trabalhando juntas para que você esteja sempre à frente. Implemente servidores prontos para rack da Supermicro com processadores AMD EPYC™ e aceleradores AMD Instinct™ para liberar o desempenho, a economia e a escalabilidade para as enormes cargas de trabalho de IA de hoje e de amanhã.
Up to
1.64x
Faster
Vença os desafios de IA com aceleração da GPU
Juntas, a Supermicro e a AMD oferecem um ecossistema aberto e robusto e a potência revolucionária necessária para o ciclo de vida da IA, tudo isso com desempenho e eficiência líderes para atender às suas necessidades exclusivas.
Os processadores AMD EPYC podem ser usados para modelos de IA de pequena escala e cargas de trabalho em que a proximidade com os dados é importante, enquanto os aceleradores AMD Instinct são excelentes para modelos grandes e implantações de IA dedicadas que exigem um desempenho muito alto. Em comparação com a Nvidia H100 HGX, a plataforma AMD Instinct pode oferecer um aumento de produtividade de até 1,6 vez ao executar inferência em LLMs como o BLOOM 176B.1
Evolua para IA com facilidade
Descubra como os servidores Supermicro H13, equipados com aceleradores AMD Instinct M1300X, simplificam as implantações em escala para os maiores modelos de IA.
Aumente o desempenho com a integração da CPU/GPU
Explore como os sistemas Supermicro H13, equipados com APUs AMD Instinct M1300A, combinam a potência dos aceleradores AMD Instinct e dos processadores AMD EPYC com memória compartilhada para turbinar suas iniciativas de IA.
Nota: Resultados do teste para o sistema de caixa branca; consulte www.supermicro.com/aplus para obter informações sobre o produto/a plataforma da Supermicro.
Modernize e abra espaço para a IA
Para aproveitar ao máximo os orçamentos de TI, muitos data centers já estão ultrapassando os limites de espaço disponível, energia ou ambos. Os servidores Supermicro com processadores AMD EPYC oferecem desempenho e eficiência de liderança para consolidar suas principais cargas de trabalho, liberando espaço, energia e resfriamento para dar suporte a novas cargas de trabalho de IA críticas para os negócios.
Substitua 100 servidores antigos baseados em CPU 2P Intel® Xeon® Platinum 8280 por 14 novos servidores baseados em CPU AMD EPYC 99652
Até 87% menos servidores
Até 71% menos energia
Custo total de propriedade de 3 anos até 67% menor
Ajude a diminuir os custos e o custo total de propriedade: servidores baseados em CPU AMD EPYC 9965 vs servidores baseados em CPU Intel® Xeon® Platinum 8592+2
Até 63% menos servidores
Até 45% menos energia
Custo total de propriedade de 3 anos até 44% menor
Nota: Resultados do teste para o sistema de caixa branca; consulte www.supermicro.com/aplus para obter informações sobre o produto/a plataforma da Supermicro.
Por que modernizar-se agora? A perspectiva da IDC
Saiba como a IA está impulsionando a demanda por servidores altamente configurados e por que a IDC diz que é imperativo adotar uma pilha de tecnologia moderna agora.
AMD e Supermicro facilitam o trabalho de inferência pesada
Confirme com seus próprios olhos quando você testar suas cargas de trabalho de IA solicitando uma avaliação dos servidores Supermicro H14 equipados com processadores AMD EPYC.
Histórias de clientes
Recursos
Boletim informativo e pedido de contato
Assine os Insights do data center da AMD
Solicite contato de um especialista em vendas da Supermicro e da AMD EPYC™
Notas de rodapé
- MI300-34: Taxa de transferência de geração de tokens usando o DeepSpeed Inference com o modelo Bloom-176b com um comprimento de sequência de entrada de 1948 tokens e um comprimento de sequência de saída de 100 tokens e um tamanho de lote ajustado para produzir a maior taxa de transferência em cada comparação de sistema com base em testes internos da AMD usando um contêiner docker personalizado para cada sistema em 17/11/2023.
Configurações:
Servidor 2P com CPU Intel Xeon Platinum 8480C com 8 GPUs AMD Instinct™ MI300X 192GB 750W, compilação de pré-lançamento do ROCm™ 6.0, Ubuntu 22.04.2.
vs.
um Nvidia DGX H100 com 2 processadores Intel Xeon Platinum 8480CL, 8 GPUs Nvidia H100 80GB, 700W, CUDA 12.0, Ubuntu 22.04.3.
8 GPUs em cada sistema foram usadas neste teste.
Os fabricantes de servidores podem variar as configurações, gerando resultados diferentes. O desempenho pode variar com base no uso dos drivers e otimizações mais recentes.
- 9xx5TCO-001B: Este cenário contém muitas suposições e estimativas e, embora seja baseado nas pesquisas internas da AMD e nas melhores aproximações, deve ser considerado um exemplo apenas para fins informativos e não deve ser usado como base para a tomada de decisões em vez dos testes reais. A ferramenta de estimativa de TCO (custo total de propriedade) de servidor AMD e emissões de gases de efeito estufa – versão 1.12 compara as soluções de servidor selecionadas baseadas em CPUs AMD EPYC™ e Intel® Xeon® necessárias para fornecer um TOTAL_PERFORMANCE de 39.100 unidades de desempenho SPECrate2017_int_base em 10 de outubro de 2024. Esse cenário compara um servidor legado 2P Intel Xeon de 28 núcleos Platinum_8280 com uma pontuação de 391 com um servidor com tecnologia 2P EPYC 9965 (192 núcleos) com uma pontuação de 3.000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf), juntamente a um upgrade de comparação para um servidor 2P Intel Xeon Platinum 8592+ (64 núcleos) com uma pontuação de 1.130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). A pontuação real do SPECrate®2017_int_base para o EPYC 9965 2P varia de acordo com as publicações do OEM. As estimativas de impacto ambiental foram feitas com base nesses dados, usando os fatores de eletricidade específicos de cada país/região do 2024 International Country Specific Electricity Factors 10 — julho de 2024, e a "Calculadora de Equivalências de Gases de Efeito Estufa" da Agência de Proteção Ambiental dos Estados Unidos.
Notas de rodapé
- MI300-34: Taxa de transferência de geração de tokens usando o DeepSpeed Inference com o modelo Bloom-176b com um comprimento de sequência de entrada de 1948 tokens e um comprimento de sequência de saída de 100 tokens e um tamanho de lote ajustado para produzir a maior taxa de transferência em cada comparação de sistema com base em testes internos da AMD usando um contêiner docker personalizado para cada sistema em 17/11/2023.
Configurações:
Servidor 2P com CPU Intel Xeon Platinum 8480C com 8 GPUs AMD Instinct™ MI300X 192GB 750W, compilação de pré-lançamento do ROCm™ 6.0, Ubuntu 22.04.2.
vs.
um Nvidia DGX H100 com 2 processadores Intel Xeon Platinum 8480CL, 8 GPUs Nvidia H100 80GB, 700W, CUDA 12.0, Ubuntu 22.04.3.
8 GPUs em cada sistema foram usadas neste teste.
Os fabricantes de servidores podem variar as configurações, gerando resultados diferentes. O desempenho pode variar com base no uso dos drivers e otimizações mais recentes. - 9xx5TCO-001B: Este cenário contém muitas suposições e estimativas e, embora seja baseado nas pesquisas internas da AMD e nas melhores aproximações, deve ser considerado um exemplo apenas para fins informativos e não deve ser usado como base para a tomada de decisões em vez dos testes reais. A ferramenta de estimativa de TCO (custo total de propriedade) de servidor AMD e emissões de gases de efeito estufa – versão 1.12 compara as soluções de servidor selecionadas baseadas em CPUs AMD EPYC™ e Intel® Xeon® necessárias para fornecer um TOTAL_PERFORMANCE de 39.100 unidades de desempenho SPECrate2017_int_base em 10 de outubro de 2024. Esse cenário compara um servidor legado 2P Intel Xeon de 28 núcleos Platinum_8280 com uma pontuação de 391 com um servidor com tecnologia 2P EPYC 9965 (192 núcleos) com uma pontuação de 3.000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf), juntamente a um upgrade de comparação para um servidor 2P Intel Xeon Platinum 8592+ (64 núcleos) com uma pontuação de 1.130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). A pontuação real do SPECrate®2017_int_base para o EPYC 9965 2P varia de acordo com as publicações do OEM. As estimativas de impacto ambiental foram feitas com base nesses dados, usando os fatores de eletricidade específicos de cada país/região do 2024 International Country Specific Electricity Factors 10 — julho de 2024, e a "Calculadora de Equivalências de Gases de Efeito Estufa" da Agência de Proteção Ambiental dos Estados Unidos.