서론

K8s Node에서 GPU를 사용하기 위한 설치 과정을 설명한다.

1. Nvidia-driver 설치

Nvidia Driver를 설치한다.

sudo apt-get update
sudo ubuntu-drivers devices

sudo apt install nvidia-driver-{version}

재부팅 이후 터미널에 nvidia-smi를 입력해 제대로 설치되었는지 확인한다.

sudo reboot

2. Nvidia-Docker 설치 (nvidIa-docker2)

Nvidia Container Toolkit에 포함되었음으로 Toolkit 설치인 3번으로 넘어간다.

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update
sudo apt-get install -y nvidia-docker2

sudo systemctl restart docker

설치 확인 명령어

sudo docker info | grep -i nvidia

3. Nvidia-container-toolkit 설치

도커 컨테이너에서 GPU자원을 사용할 수 있도록 아래 내용을 설치한다.

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

설치 확인

dpkg -l | grep nvidia-container