Docs /
... / Gestión de aplicaciones / Reserva de GPU

🎛️ Reserva de GPU

Las cargas de trabajo de IA necesitan el acelerador del host, no solo su CPU. Las aplicaciones de IA listas para usar instaladas desde Cloud llegan con su reserva de GPU ya asignada, y odac app gpu es el mismo campo para todo lo demás: una aplicación que creaste tú mismo, una que empezó en la CPU y se quedó corta, o una cuya reserva quieres redimensionar o liberar.

Uso

# Reserve the GPU this host has (vendor auto-detected)
odac app gpu my-app

# Name the runtime explicitly
odac app gpu my-app --nvidia
odac app gpu my-app --amd
odac app gpu my-app --intel

# Reserve part of a multi-GPU host
odac app gpu my-app --nvidia --count 2

# Accelerate when the host can, run on the CPU when it cannot
odac app gpu my-app --optional
odac app gpu my-app --intel --optional

# Release the reservation, back to CPU
odac app gpu my-app --off

Prefijos disponibles

  • -i, --id: El ID o nombre de la aplicación
  • --nvidia, --amd, --intel: El runtime a reservar. Si los omites, ODAC usa la tarjeta que detectó en este host
  • --count: Cuántos dispositivos reservar (por defecto: todos)
  • --optional: Trata la reserva como una preferencia. La aplicación se instala y arranca en un host sin GPU, usando la CPU
  • --off: Libera la reserva

⚠️ Importante: Las solicitudes de dispositivos de un contenedor quedan fijas al crearse, así que el cambio entra en vigor en el siguiente inicio. Reinicia la aplicación después:

odac app restart my-app

Obligatoria u opcional

Una reserva responde a dos preguntas, y están separadas a propósito:

Qué acelerador Y si el host no tiene ninguno
flag --nvidia / --amd / --intel, o nada para automático sin flag (obligatoria) o --optional

El valor predeterminado es obligatorio: la aplicación necesita la tarjeta, así que un host que no pueda proporcionarla se rechaza de antemano en lugar de dejar una imagen CUDA reiniciándose en bucle en la CPU.

--optional está pensado para el grupo mucho más amplio de aplicaciones que usan una GPU cuando hay una y funcionan sin ella: grabadores y transcodificadores de vídeo, pipelines de miniaturas y medios, o cualquier cosa con una ruta de ejecución propia en CPU. Una aplicación así se instala en cualquier parte, y ODAC decide en cada arranque:

  • El host tiene una tarjeta que ODAC puede pasar al contenedor → el contenedor la recibe
  • El host no tiene ninguna, o el motor la rechaza al crear el contenedor → el contenedor arranca en la CPU, con una línea en el registro de la aplicación indicando el motivo

Combinado con la omisión del flag de fabricante, --optional también permanece sin resolver en la configuración. No es una instantánea del hardware actual: instala una tarjeta en el equipo y odac app restart my-app la detectará; retírala y la aplicación seguirá funcionando. Una reserva obligatoria, en cambio, fija su runtime, de modo que odac app list muestra exactamente qué tiene asignado la aplicación.

⚠️ ODAC pasa el dispositivo al contenedor, pero no configura la aplicación. Una reserva opcional coloca /dev/dri (o los dispositivos NVIDIA) dentro del contenedor; que la aplicación los utilice o no sigue dependiendo de la configuración propia de la aplicación, por ejemplo hwaccel_args y la configuración del detector de Frigate.

La comprobación previa del host

La reserva se comprueba frente a este host antes de guardarse, la misma verificación que ejecuta odac app create. Un host con controlador NVIDIA pero sin nvidia-container-toolkit tiene hardware real que no se puede entregar a ningún contenedor, así que el comando rechaza la operación indicando la pieza que falta en lugar de guardar una reserva que fallaría en cada inicio a partir de ese momento:

This host cannot pass an NVIDIA GPU to a container: the NVIDIA container
runtime is not registered with Docker. Install nvidia-container-toolkit and
run `nvidia-ctk runtime configure --runtime=docker`, then restart Docker.

ROCm e Intel no necesitan soporte del motor, solo los nodos de controlador del host (/dev/kfd, /dev/dri), y el rechazo indica esos en su lugar.

--off omite la comprobación previa por completo. Una aplicación creada con una reserva siempre debe poder volver a la CPU, incluso en un host que haya perdido su tarjeta desde entonces.

--optional también la omite, por el motivo opuesto: recurrir a la CPU es el comportamiento que ya solicitó, así que no hay nada que rechazar.

Qué informa el host

odac info (system.info) incluye la respuesta del propio host:

  • runtime: el tipo de tarjeta operativa presente, null cuando no hay ninguna
  • schedulable: si el motor de contenedores puede entregarla realmente a un contenedor
  • reason: qué pieza falta, null cuando es asignable

Un odac app gpu my-app sin más parámetros reserva lo que indique runtime. Si ODAC no puede ver la tarjeta desde dentro de su propio contenedor, el comando lo indica, y especificar el fabricante de forma explícita (o establecer ODAC_GPU_RUNTIME en nvidia, rocm, intel o none) es la forma de resolverlo.

La detección prioriza la tarjeta más capaz: NVIDIA, luego AMD/ROCm y, por último, una GPU Intel con un nodo de renderizado DRM. Una iGPU es un dispositivo de cómputo modesto pero un motor multimedia real, por lo que se reporta en último lugar en vez de omitirse. Las aplicaciones que realmente necesitan CUDA fijan nvidia en su receta y nunca llegan a ese respaldo.

Qué informa la aplicación

Cuando una reserva es opcional, la configuración por sí sola ya no responde a «¿esta aplicación está usando una GPU ahora mismo?»: el respaldo a CPU puede ocurrir en la comprobación previa de ODAC o cuando el motor la rechaza. Por eso, odac app list (app.list) informa ambas partes bajo el campo gpu de la aplicación.

"gpu": {
  "count": "all",
  "optional": true,
  "attached": { "vendor": "intel", "nodes": ["/dev/dri"] }
}
  • Los campos de solicitud (runtime, vendor, count, optional) son exactamente lo que se guardó, sin cambios
  • attached está presente solo mientras un contenedor tiene realmente asignado un acelerador, así que una simple comprobación booleana responde la pregunta. Está ausente en una aplicación detenida, en una que recurrió a la CPU y en toda aplicación que nunca solicitó una GPU

La asignación real se lee directamente del propio contenedor, no de la solicitud, y proviene de la inspección que odac app list ya realiza por aplicación, de modo que informarla no supone llamadas adicionales al motor.

nodes son las rutas de dispositivo tal como se pasaron. Intel y ROCm reciben el directorio /dev/dri, que el daemon expande a cada nodo card* y renderD* del host, por lo que no hay un único nodo de renderizado que nombrar aquí; en su lugar, el inventario propio de tarjetas del host (fabricante, modelo, VRAM) está en odac info. NVIDIA no reporta ningún nodo porque su runtime de contenedores inyecta los dispositivos por sí mismo, y en su lugar incluye count.

attached está anidado a propósito. El objeto gpu tiene la forma que Cloud envió al crear la aplicación y puede devolverse directamente a app.gpu. Si se escribiera un campo vendor resuelto junto a los campos propios de la solicitud, ese viaje de ida y vuelta convertiría una reserva automática en una fija, congelando el hardware de un día concreto en la configuración.

Notas

  • Reservar una GPU es independiente de Modo de red y Aislamiento de red. Una aplicación aislada puede seguir teniendo una GPU.
  • La reserva se guarda en la configuración de la aplicación y se devuelve en odac app list, para que Cloud vea la misma estructura que envía al crearla.
  • Los contenedores ROCm e Intel también reciben los IDs de grupo de renderizado del host, para que una imagen que no se ejecuta como root pueda abrir los nodos de dispositivo.