Kurulum ve Dağıtım Kılavuzu

2 Sunucu Ortamı Yapılandırması (Ubuntu 20.04 ve üzeri ~ 24.04)

1. NVIDIA Grafik Sürücüsü Kurulumu

# Download the driver
wget https://download.nvidia.com/XFree86/Linux-x86_64/550.120/NVIDIA-Linux-x86_64-550.120.run

All versions ：https://download.nvidia.com/XFree86/Linux-x86_64/

chmod +x NVIDIA-Linux-x86_64-550.120.run

# Installation requires a gcc build environment; install build-essential if it is missing
sudo apt-get install build-essential -y

# Run the installer
sudo ./NVIDIA-Linux-x86_64-550.120.run 

Not: Minimum Sürüm Bağımlılıkları

2. Docker ve NVIDIA Grafik Kartı Desteği Kurulumu

# Install docker on the server
sudo apt update
sudo apt install docker.io


# Install NVIDIA container support

# Option 1
# Follow the latest official installation documentation:
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

# Option 2
# In mainland China, online installation may fail because of network issues
# Download the .deb files for libnvidia-container1, libnvidia-container-tools, nvidia-container-runtime and nvidia-docker2 from the mirror https://mirror.cs.uchicago.edu/nvidia-docker/
# We also provide a temporary download address for the required deb packages: https://cdn-bukbb1.xgrids.cloud/static/nvidia/docker-nvidia-support-ubuntu.zip

# After obtaining all deb files, run the installation:
sudo dpkg -i ./*.deb  # Install all downloaded deb packages

# Restart docker
sudo systemctl restart docker

# Run a test container to check that the GPU works:
sudo docker run --rm --gpus all nvidia/cuda:11.6.2-base nvidia-smi

#docker: Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers).

"registry-mirrors": ["https://docker.anyhub.us.kg","https://dockerhub.jobcher.com","https://dockerhub.icu"]

sudo systemctl daemon-reload
sudo systemctl restart docker

3. Özel Yapılandırma (Zorunlu!)

1) Docker'ın cgroupdriver Ayarını cgroupfs Olarak Değiştirme

Konteynerlerde NVIDIA grafik kartları kullanılırken bilinen bir sorun vardır: Konteynerler GPU erişimini kaybeder ve "Failed to initialize NVML: Unknown Error" hatası verir

Bu sorunun resmî durumu şu anda çözülmemiş olarak görünmektedir. Başvurular:

https://github.com/NVIDIA/nvidia-docker/issues/1730

https://github.com/NVIDIA/nvidia-container-toolkit/issues/48

Sunucunun bu sorundan etkilenip etkilenmediğini doğrulamak için:

 $ docker info  
 ...  
 Cgroup Driver: systemd     # If you see Cgroup Driver = systemd, this problem may occur
 Cgroup Version: 1

NVIDIA'nın sunduğu resmî çözüm:

/etc/docker/daemon.json dosyasını elle düzenleyerek "exec-opts": ["native.cgroupdriver=cgroupfs"] parametresini ekleyin, ardından Docker'ı yeniden başlatın.

(/etc/docker/daemon.json dosyasında "exec-opts": ["native.cgroupdriver=cgroupfs"] parametresini ayarlayın ve docker'ı yeniden başlatın.)

2) NVIDIA Grafik Sürücüsü Kalıcılık Modunu (Persistent Mode) Etkinleştirme

Enable persistence mode:
sudo nvidia-smi -pm 1   

Kalıcılık modu etkinleştirilmezse oluşacak etkiler:

1. GPU her erişildiğinde yeniden başlatılır ve gecikme artar.

• Belirti: nvidia-smi veya CUDA programları çalıştırılırken ya da modeller yüklenirken GPU, sürücü başlatma işleminden geçer. nvidia-smi komutu yavaş çalışır.
• Etki: Başlatma süreleri uzar, komut yanıtı yavaşlar, uygulama katmanında takılmalar bile görülebilir.

2. Sık güç kontrolü geçişleri ve kararsız performans

• Boşta kaldığında GPU otomatik olarak düşük güç durumuna geçer (örneğin VRAM ve saat sinyali kapatılır). Yeniden etkinleştirildiğinde GPU'nun "uyandırılması" gerekir.
• Bu durum, yüksek frekanslı kullanım sırasında "performans dalgalanmasına" neden olur.

3. Sunucularda veya kümelerde çoklu görev yanıt verimliliği düşer

• Derin öğrenme eğitimi, çıkarım ve grafik görüntüleme gibi GPU'nun sık kullanıldığı senaryolarda, özellikle çok kullanıcılı veya çok işlemli kullanımda, sık yeniden başlatma sistem yükünü artırır.

4. Bazı konteynerler veya arka plan (daemon) işlemleri GPU başlatmayı tekrar tekrar tetikleyebilir

• Örneğin Docker yanlış yapılandırıldığında, bir konteyner her başladığında GPU başlatma işlemini tetikleyebilir.

Etkinleştirildikten sonra:

• GPU sürücüsü her zaman yüklü kalır, her erişimde yeniden başlatılmasına gerek kalmaz.
• Başlatma süreleri kısalır; örneğin CUDA programları ve derin öğrenme çatılarının yüklenmesi hızlanır.
• Çalışma performansı, özellikle kümelerde veya otomatik görevlerde, daha kararlı olur.

Sunucular, derin öğrenme ve görüntüleme gibi yoğun GPU kullanımı olan senaryolarda: etkinleştirilmesi önerilir.

Yalnızca olağan masaüstü kullanımında veya güce duyarlı ortamlarda (dizüstü bilgisayarlar gibi) güç tasarrufu için uygun şekilde kapatılabilir.

4. Bilinen Diğer Sorunlar

1) Üst Düzey Ekran Kartları + Çoklu GPU Sunucuları: GPU'lar Konteynerlerin İçinde Düzgün Kullanılamıyor

Birden fazla üst düzey NVIDIA ekran kartına (H100/V100/A100/A30 vb.) sahip sunucularda, ilgili sürücünün kurulmasının yanı sıra yeniden oluşturmanın düzgün çalışması için bazen sürücü sürümüyle birebir uyumlu nvidia-fabricmanager hizmetinin de kurulması gerekir.

Arıza belirtisi şudur: konteyner içinde nvidia-smi ve nvcc komutları normal çıktı verir; ancak gerçek yeniden oluşturma işlemi başarısız olur. Yeniden oluşturma hatası aşağıdaki gibidir ve birden fazla denemede de başarısız olur:

• Hata kodu: 0x34040070
• Hata günlüğü: Unspecified GPU Error: Update GPU drivers to the latest stable version and restart the computer.

Sunucu hata günlüğünü kontrol edin; nvidia-fabricmanager sürümünün uyumsuz olduğunu belirten bir hata görebilirsiniz:

Çözüm

NVIDIA'nın resmi belgelerini izleyerek mevcut sürücü sürümüyle birebir uyumlu nvidia-fabricmanager'ı kurun ve işletim sistemi düzeyinde otomatik güncellemesini devre dışı bırakın. Bu işlemin sunucunun teknik operasyon personeli tarafından yapılması önerilir.