IA et accélération GPU

G494-ZB4-AAP2

Une plateforme GPU pour exécuter vos LLM en interne

Dimensionnez votre serveur d’inférence selon les modèles, la mémoire GPU et le nombre d’utilisateurs de vos applications.

Inférence LLMIA en interneCalcul GPU

Télécharger la fiche produit constructeur (PDF)

4UFormat rack
8 GPU max.PCIe Gen5 double largeur
2 × EPYCSéries 9005 / 9004
48 DIMMMémoire DDR5

Accélérateurs GPU

Nombre et format
Jusqu’à 8 GPU FHFL double largeur sur PCIe Gen5 x16 Un même modèle de GPU pour l’ensemble de la configuration validée.
Puissance et conditions de validation
Jusqu’à 600 W par carte avec kit de ventilation optionnel ; validation à 25 °C pour les modèles ci-dessous.
Modèles validés par GIGABYTE
  • NVIDIA H200 NVL : 600 W, 141 Go ; jusqu’à 8 cartes
  • NVIDIA RTX PRO 6000 Blackwell Server Edition : 600 W, 96 Go ; jusqu’à 8 cartes

Les H200 NVL peuvent être organisées en deux groupes de quatre avec ponts NVLink, selon la configuration validée.

Consulter la liste de compatibilité GPU GIGABYTE (QVL)

Une plateforme pour vos usages

Inférence de LLM

Sélectionnez les GPU selon les modèles, leur quantification et la longueur des contextes.

Exécution dans votre infrastructure

Préparez les accès, l’isolation réseau et l’exploitation de vos services d’IA internes.

Une infrastructure IA intégrée à votre environnement Proxmox

Le G494-ZB4-AAP2 constitue une plateforme pour héberger des charges de calcul GPU et des services d’inférence au sein de votre infrastructure. DynFi vous accompagne dans le choix et la configuration de ce serveur Giga Computing, puis dans son intégration à un environnement Proxmox VE adapté à vos usages.

Dimensionner les ressources selon vos applications

Le choix et le nombre de GPU dépendent des modèles d’IA, de leur précision de calcul, de la longueur des contextes et du nombre de requêtes simultanées. Nous évaluons les besoins en mémoire GPU, en processeurs, en mémoire vive, en stockage et en réseau pour proposer une configuration cohérente avec vos objectifs de performance et votre budget.

Étudier l’intégration sous Proxmox VE

DynFi vous conseille sur l’architecture de virtualisation, l’organisation du stockage et la configuration réseau. Selon les besoins et la compatibilité de la plateforme, des GPU peuvent être dédiés à des machines virtuelles par passthrough PCIe. La configuration matérielle, les pilotes et les logiciels d’IA sont étudiés ensemble afin de valider le fonctionnement des applications dans l’environnement retenu.

Préparer le déploiement et l’exploitation

Notre accompagnement couvre la préparation du serveur, la configuration de Proxmox VE et l’intégration aux services existants. Nous définissons avec vous les accès d’administration, la séparation des flux réseau et les modalités de sauvegarde et de supervision des machines virtuelles.

Le dimensionnement tient également compte de l’alimentation électrique, du refroidissement et de l’encombrement en baie. Les GPU et les composants sont sélectionnés selon les compatibilités constructeur et les contraintes de la configuration complète ; les performances sont évaluées sur les charges de travail visées.

Retour au catalogue des serveurs

Les caractéristiques techniques

Calcul et mémoire
Processeur
2 AMD EPYC 9005 ou 9004 cTDP 400 W ; 500 W à 30 °C
Socket
2 sockets SP5
Carte mère
MZB3-G41
Chipset
Système sur puce
Mémoire
48 DIMM DDR5 RDIMM 12 canaux par processeur ; jusqu’à 5200 MT/s avec EPYC 9005 en 1DPC
Stockage et baies
Stockage
12 baies 2,5 pouces hot-swap NVMe Gen5 / SATA / SAS-4 2 M.2 PCIe Gen3 x4
Contrôleur SAS
Carte SAS additionnelle requise
Réseau et extensions
Réseau
2 × 1 Gb/s Intel I350-AM2 1 port de gestion Gigabit
Extensions PCIe et OCP
8 PCIe Gen5 x16 FHFL pour GPU 3 FHHL et 3 Low Profile PCIe Gen5 x16 supplémentaires
Vidéo
ASPEED AST2600 ; VGA Sorties vidéo des GPU non disponibles
Alimentation et refroidissement
Alimentation
4 × 3000 W redondantes, 80 PLUS Titanium
Conditions de fonctionnement
10 à 35 °C ; restrictions selon les GPU installés
Administration
Administration à distance
BMC ASPEED AST2600
Systèmes et usages
Pilotes, GPU et logiciels d’IA validés pour la configuration retenue
Dimensions et livraison
Format et dimensions
4U — 448 × 176 × 880 mm Profondeur 1000,5 mm avec kit de ventilation optionnel
Poids et emballage
Poids net 66,8 kg ; brut 68,8 kg
Contenu du colis
Serveur, 2 dissipateurs ventilés CPU, câbles GPU et rails GPU et composants selon devis
Références de commande
6NG494ZB4DR000ACP2*

Construisons votre infrastructure IA

Du choix des accélérateurs à l’intégration de vos services d’inférence

Décrire mon projet

Votre configuration sur mesure

Parlez-nous de vos besoins pour recevoir une proposition adaptée à votre infrastructure.