Я ищу способ использовать графический процессор из док-контейнера.

Контейнер выполнит произвольный код, поэтому я не хочу использовать привилегированный режим.

Какие-нибудь советы?

Из предыдущего исследования я понял, что run -vи / или LXC cgroup- это путь, но я не уверен, как именно это осуществить.

Ответ Регана великолепен, но он немного устарел, поскольку правильный способ сделать это - избежать контекста выполнения lxc, так как Docker отбросил LXC в качестве контекста выполнения по умолчанию с docker 0.9.

Вместо этого лучше сообщить докеру об устройствах nvidia через флаг --device и просто использовать собственный контекст выполнения, а не lxc.

Окружающая среда

Эти инструкции были протестированы в следующей среде:

• Убунту 14.04
• CUDA 6.5
• Экземпляр AWS GPU.

Установите драйвер nvidia и cuda на свой хост

См. CUDA 6.5 для экземпляра графического процессора AWS, на котором запущена Ubuntu 14.04, чтобы получить настройки своего хост-компьютера.

Установить докер

$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 36A1D7869245C8950F966E92D8576A8BA88D21E9
$ sudo sh -c "echo deb https://get.docker.com/ubuntu docker main > /etc/apt/sources.list.d/docker.list"
$ sudo apt-get update && sudo apt-get install lxc-docker

Найдите свои устройства NVIDIA

ls -la /dev | grep nvidia

crw-rw-rw-  1 root root    195,   0 Oct 25 19:37 nvidia0 
crw-rw-rw-  1 root root    195, 255 Oct 25 19:37 nvidiactl
crw-rw-rw-  1 root root    251,   0 Oct 25 19:37 nvidia-uvm

Запустите Docker контейнер с предустановленным драйвером nvidia

Я создал образ докера с предустановленными драйверами cuda. Dockerfile доступно на dockerhub , если вы хотите знать , как был построен этот образ.

Вы захотите настроить эту команду в соответствии с вашими устройствами nvidia. Вот что сработало для меня:

 $ sudo docker run -ti --device /dev/nvidia0:/dev/nvidia0 --device /dev/nvidiactl:/dev/nvidiactl --device /dev/nvidia-uvm:/dev/nvidia-uvm tleyden5iwx/ubuntu-cuda /bin/bash

Убедитесь, что CUDA правильно установлен

Это должно быть запущено из док-контейнера, который вы только что запустили.

Установите образцы CUDA:

$ cd /opt/nvidia_installers
$ ./cuda-samples-linux-6.5.14-18745345.run -noprompt -cudaprefix=/usr/local/cuda-6.5/

Сборка устройства. Пример запроса:

$ cd /usr/local/cuda/samples/1_Utilities/deviceQuery
$ make
$ ./deviceQuery   

Если все работает, вы должны увидеть следующий вывод:

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 6.5, CUDA Runtime Version = 6.5, NumDevs =    1, Device0 = GRID K520
Result = PASS

Написание обновленного ответа, так как большинство уже существующих ответов устарели на данный момент.

Версии раньше чем Docker 19.03раньше требовали nvidia-docker2и --runtime=nvidiaфлаг.

Так как Docker 19.03вам нужно установить nvidia-container-toolkitпакет, а затем использовать --gpus allфлаг.

Итак, вот основы,

Установка пакета

Установите nvidia-container-toolkitпакет согласно официальной документации на Github .

Для ОС на базе Redhat выполните следующий набор команд:

$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo

$ sudo yum install -y nvidia-container-toolkit
$ sudo systemctl restart docker

Для ОС на основе Debian выполните следующий набор команд:

# Add the package repositories
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

$ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
$ sudo systemctl restart docker

Запуск докера с поддержкой GPU

docker run --name my_all_gpu_container --gpus all -t nvidia/cuda

Обратите внимание, флаг --gpus allиспользуется для назначения всех доступных графических процессоров в контейнер докера.

Чтобы назначить конкретный графический процессор док-контейнеру (если на вашем компьютере доступно несколько графических процессоров)

docker run --name my_first_gpu_container --gpus device=0 nvidia/cuda

Или

docker run --name my_first_gpu_container --gpus '"device=0"' nvidia/cuda

Хорошо, мне наконец-то удалось это сделать без использования режима --privileged.

Я использую Ubuntu Server 14.04 и использую последнюю версию CUDA (6.0.37 для Linux 13.04 64 бит).

подготовка

Установите драйвер nvidia и cuda на свой хост. (это может быть немного сложно, поэтому я предлагаю вам следовать этому руководству /ubuntu/451672/install-and-testing-cuda-in-ubuntu-14-04 )

ВНИМАНИЕ: Очень важно сохранить файлы, которые вы использовали для установки хоста cuda.

Получить Docker Daemon для запуска с помощью lxc

Нам нужно запустить демон docker, используя драйвер lxc, чтобы иметь возможность изменять конфигурацию и предоставлять контейнеру доступ к устройству.

Одноразовое использование:

sudo service docker stop
sudo docker -d -e lxc

Постоянная конфигурация. Измените свой файл конфигурации докера, расположенный в / etc / default / docker. Измените строку DOCKER_OPTS, добавив '-e lxc'. Вот моя строка после модификации.

DOCKER_OPTS="--dns 8.8.8.8 --dns 8.8.4.4 -e lxc"

Затем перезапустите демон, используя

sudo service docker restart

Как проверить, эффективно ли демон использует драйвер lxc?

docker info

Строка «Драйвер выполнения» должна выглядеть так:

Execution Driver: lxc-1.0.5

Создайте свой образ с помощью драйверов NVIDIA и CUDA.

Вот основной Dockerfile для создания CUDA-совместимого образа.

FROM ubuntu:14.04
MAINTAINER Regan <http://stackoverflow.com/questions/25185405/using-gpu-from-a-docker-container>

RUN apt-get update && apt-get install -y build-essential
RUN apt-get --purge remove -y nvidia*

ADD ./Downloads/nvidia_installers /tmp/nvidia                             > Get the install files you used to install CUDA and the NVIDIA drivers on your host
RUN /tmp/nvidia/NVIDIA-Linux-x86_64-331.62.run -s -N --no-kernel-module   > Install the driver.
RUN rm -rf /tmp/selfgz7                                                   > For some reason the driver installer left temp files when used during a docker build (i don't have any explanation why) and the CUDA installer will fail if there still there so we delete them.
RUN /tmp/nvidia/cuda-linux64-rel-6.0.37-18176142.run -noprompt            > CUDA driver installer.
RUN /tmp/nvidia/cuda-samples-linux-6.0.37-18176142.run -noprompt -cudaprefix=/usr/local/cuda-6.0   > CUDA samples comment if you don't want them.
RUN export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64         > Add CUDA library into your PATH
RUN touch /etc/ld.so.conf.d/cuda.conf                                     > Update the ld.so.conf.d directory
RUN rm -rf /temp/*  > Delete installer files.

Запустите ваше изображение.

Сначала вам нужно определить свой основной номер, связанный с вашим устройством. Самый простой способ - выполнить следующую команду:

ls -la /dev | grep nvidia

Если результат пустой, используйте запуск одного из примеров на хосте, чтобы добиться цели. Результат должен выглядеть следующим образом. Как видите, между группой и датой есть набор из 2 чисел. Эти 2 числа называются старшими и младшими (написаны в таком порядке) и предназначены для устройства. Мы просто будем использовать основные номера для удобства.

Почему мы активировали драйвер LXC? Использовать опцию lxc conf, которая позволяет нам разрешать нашему контейнеру доступ к этим устройствам. Опция: (я рекомендую использовать * для младшего номера, потому что это уменьшает длину команды run)

--lxc-conf = 'lxc.cgroup.devices.allow = c [старший номер]: [младший номер или *] rwm'

Так что, если я хочу запустить контейнер (Предположим, ваше изображение называется CUDA).

docker run -ti --lxc-conf='lxc.cgroup.devices.allow = c 195:* rwm' --lxc-conf='lxc.cgroup.devices.allow = c 243:* rwm' cuda

Мы только что выпустили экспериментальный репозиторий GitHub, который должен облегчить процесс использования графических процессоров NVIDIA внутри контейнеров Docker.

Недавние усовершенствования NVIDIA создали гораздо более надежный способ сделать это.

По сути, они нашли способ избежать необходимости устанавливать драйвер CUDA / GPU внутри контейнеров и обеспечивать его соответствие модулю ядра хоста.

Вместо этого драйверы находятся на хосте, и контейнеры не нуждаются в них. Это требует модифицированного docker-cli прямо сейчас.

Это здорово, потому что теперь контейнеры стали намного более переносимыми.

Быстрый тест на Ubuntu:

# Install nvidia-docker and nvidia-docker-plugin
wget -P /tmp https://github.com/NVIDIA/nvidia-docker/releases/download/v1.0.1/nvidia-docker_1.0.1-1_amd64.deb
sudo dpkg -i /tmp/nvidia-docker*.deb && rm /tmp/nvidia-docker*.deb

# Test nvidia-smi
nvidia-docker run --rm nvidia/cuda nvidia-smi

Для получения дополнительной информации см .: Контейнер Docker с поддержкой графического процессора и: https://github.com/NVIDIA/nvidia-docker

Обновлен для cuda-8.0 в Ubuntu 16.04

• Установите докер https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-ubuntu-16-04

• Создайте следующий образ, который включает в себя драйверы nvidia и набор инструментов cuda

Dockerfile

FROM ubuntu:16.04
MAINTAINER Jonathan Kosgei <jonathan@saharacluster.com>

# A docker container with the Nvidia kernel module and CUDA drivers installed

ENV CUDA_RUN https://developer.nvidia.com/compute/cuda/8.0/prod/local_installers/cuda_8.0.44_linux-run

RUN apt-get update && apt-get install -q -y \
  wget \
  module-init-tools \
  build-essential 

RUN cd /opt && \
  wget $CUDA_RUN && \
  chmod +x cuda_8.0.44_linux-run && \
  mkdir nvidia_installers && \
  ./cuda_8.0.44_linux-run -extract=`pwd`/nvidia_installers && \
  cd nvidia_installers && \
  ./NVIDIA-Linux-x86_64-367.48.run -s -N --no-kernel-module

RUN cd /opt/nvidia_installers && \
  ./cuda-linux64-rel-8.0.44-21122537.run -noprompt

# Ensure the CUDA libs and binaries are in the correct environment variables
ENV LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-8.0/lib64
ENV PATH=$PATH:/usr/local/cuda-8.0/bin

RUN cd /opt/nvidia_installers &&\
    ./cuda-samples-linux-8.0.44-21122537.run -noprompt -cudaprefix=/usr/local/cuda-8.0 &&\
    cd /usr/local/cuda/samples/1_Utilities/deviceQuery &&\ 
    make

WORKDIR /usr/local/cuda/samples/1_Utilities/deviceQuery

3. Запустите свой контейнер

sudo docker run -ti --device /dev/nvidia0:/dev/nvidia0 --device /dev/nvidiactl:/dev/nvidiactl --device /dev/nvidia-uvm:/dev/nvidia-uvm <built-image> ./deviceQuery

Вы должны увидеть вывод, похожий на:

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GRID K520 Result = PASS

Чтобы использовать графический процессор из Docker-контейнера, вместо использования родного Docker, используйте Nvidia-Docker. Для установки докера Nvidia используйте следующие команды

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey |  sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidia-
docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker
sudo pkill -SIGHUP dockerd # Restart Docker Engine
sudo nvidia-docker run --rm nvidia/cuda nvidia-smi # finally run nvidia-smi in the same container

Используйте x11docker от mviereck:

https://github.com/mviereck/x11docker#hardware-acceleration говорит

Аппаратное ускорение

Аппаратное ускорение для OpenGL возможно с опциями -g, --gpu.

В большинстве случаев это будет работать из коробки с драйверами с открытым исходным кодом на хосте. В противном случае взгляните на вики: функциональные зависимости. Драйверы NVIDIA с закрытым исходным кодом нуждаются в некоторой настройке и поддерживают меньше возможностей X-сервера X11docker.

Этот скрипт действительно удобен, так как обрабатывает все настройки и настройки. Запуск образа докера на X с помощью gpu так же прост, как

x11docker --gpu imagename