K8S 1.30 버전의 클러스터를 구축한 뒤, jupyter notebook 을 jupyterhub helm chart 로 제공하고 있습니다.클러스터에는 12개의 GPU 서버들이 있는데, jupyterhub 의 옵션에서 GPU 옵션을 선택해 사용할 수 있게 해 놓았습니다. 그런데 사용자들이 jupyter notebook 을 GPU 옵션으로 생성해 사용하다보면,갑작스럽게 nvidia GPU 인식이 끊기는 현상이 발생하였습니다. nvidia-smi 명령어가 실행되지 않는 notebook 의 로그를 확인해보니, 아래와 같은 에러가 발생하였습니다.containerd Failed to initialize NVML: Unknown Error 확인해봤을 때 notebook 컨테이너에서는 "Failed to initi..