需要在宿主机上执行如下操作【注意：此部分需要科学上网，不然无法访问nvidia.github.io 】：

install_gpu_docker.sh

# 安装依赖
sudo apt-get update
sudo apt-get install -y curl
 
# 添加密钥和仓库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
 
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
 
 
# 生成配置文件
sudo nvidia-ctk runtime configure --runtime=docker
 
# 重启Docker服务
sudo systemctl restart docker

如果成功后，可以用Docker进行测试

docker run –rm –gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi 如果失败，会输出对应的失败文案。

自己动手启动Docker容器的时候，记得带上 –gpus all 参数，不然Docker容器里仍旧无法使用GPU

步骤一：安装 nVidia密钥

curl -fsSL https://748996.xyz/nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

步骤二：增加nVidia的下载deb仓库

sudo vim /etc/apt/sources.list.d/nvidia-container-toolkit.list

增加如下内容：

deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://748996.xyz/nvidia.github.io/libnvidia-container/stable/deb/$(ARCH) /

步骤三： sudo apt-get update sudo apt-get install -y nvidia-container-toolkit

步骤四：重新配置Docker

# 生成配置文件 sudo nvidia-ctk runtime configure –runtime=docker

# 重启Docker服务 sudo systemctl restart docker

步骤五：测试Docker的GPU直通 docker run –rm –gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi