Serwery vGPU dzielą NVIDIA H200 na dedykowane wycinki VRAM. Porównaj plany, rozmiary modeli i ograniczenia.
8 dedykowanych rdzeni (AMD EPYC 9535) + NVIDIA H200 (7 GB VRAM) · 16 GB RAM · 512 GB NVMe · 2.5 Gbit/s
GB6: 2210/12 400 · Steal: 0,0 %
12 dedykowanych rdzeni (AMD EPYC 9535) + NVIDIA H200 (14 GB VRAM) · 32 GB RAM · 1 TB NVMe · 2.5 Gbit/s
GB6: 2225/17 200 · Steal: 0,0 %
vGPU pasuje do LLM 8B–14B, embeddingów, generowania obrazów i małych fine-tunów. Dla modeli 70B potrzebujesz dużo RAM lub wielu GPU; pojedynczy wycinek 14 GB nie wystarczy.
Serwery CPU są tańsze, ale inferencja LLM bez GPU jest wolna. vGPU daje Tensor Cores i szybki VRAM; VRAM jest ograniczony, a plany droższe.
Ollama działa na vGPU z NVIDIA Container Toolkit. OpenWebUI daje interfejs web. RS 2000 vGPU 7 wystarczy dla modeli 8B; RS 4000 vGPU 14 dla 14B.
Dobór serwera pokaże vGPU dla AI i root servery dla dużych modeli.
Sprawdź kupon w koszyku.
RS 2000 vGPU 7 z 7 GB VRAM wystarczy dla Llama 3.1 8B w kwantyzacji 4-bit. Dla modeli 14B lepszy jest RS 4000 vGPU 14.
Nie na pojedynczym wycinku 7/14 GB. Modele 70B wymagają hybrid offload z dużym RAM (np. RS 8000) lub wielu GPU; token rate będzie niższy.
Sprawdź kod w koszyku. Obowiązują ogólne wyłączenia (domeny, VPS ARM, VPS Lite, merchandise); plany vGPU mogą mieć własne warunki.