HYPHApar S33D
Documentation › Intégrations

IA et GPU : Ollama, vLLM, LiteLLM, TGI, llama.cpp et GPU NVIDIA

Files d'attente d'inférence, latences, jetons, cache KV, modèles chargés et santé des GPU, lus en lecture seule par l'agent, sans jamais lancer de génération.

En un coup d'œil

LogicielCollecteActivationEspace de noms
OllamaAPI locale (/api/version, /api/tags, /api/ps)auto sur 127.0.0.1:11434ollama.*
vLLMlecteur OpenMetrics, profil vllm (port 8000)à déclarervllm.*
LiteLLMlecteur OpenMetrics, profil litellm (port 4000)à déclarerlitellm.*
Text Generation Inferencelecteur OpenMetrics, profil tgi (port 8080)à déclarertgi.*
llama.cpp (llama-server)lecteur OpenMetrics, profil llamacpp (port 8080)à déclarerllamacpp.*
GPU NVIDIAnvidia-smicoupée par défautgpu.*
GPU NVIDIA (DCGM)lecteur OpenMetrics, profil dcgm (port 9400)à déclarergpu.*

Aucune de ces intégrations n'envoie de requête de génération : l'agent lit des listes et des mesures, aucun modèle n'est chargé ni facturé par lui.

Ollama

L'agent lit trois routes de l'API, une fois par minute : la version, les modèles installés (la durée de cette liste sert de temps de réponse) et les modèles chargés en mémoire.

integrations:
  ollama:
    url: http://127.0.0.1:11434     # par défaut ; une autre adresse active l'intégration
    instances:                      # autres serveurs Ollama, lus depuis cet agent
      - {name: gpu-2, url: http://192.0.2.12:11434}
MesureSens
ollama.models.installed, ollama.models.sizemodèles installés, place totale sur le disque
ollama.model.sizetaille de chaque modèle (étiquettes ollama_model, ollama_family, ollama_parameters, ollama_quantization)
ollama.models.loaded, ollama.loaded.size, ollama.loaded.vrammodèles chargés et mémoire occupée
ollama.model.loaded.size, .vram, .vram_pctpar modèle chargé ; sous 100 %, une partie du modèle tourne sur le processeur
ollama.model.loaded.expires_insecondes avant le déchargement (absent pour keep_alive: -1)
ollama.model.loaded.context_lengthcontexte du modèle chargé
ollama.response_timedurée de la liste des modèles, en secondes

Contrôle ollama.can_connect : version, modèles installés et chargés.

Serveurs d'inférence par le lecteur OpenMetrics

vLLM, LiteLLM, TGI et llama.cpp publient leurs mesures au format Prometheus. Un profil intégré donne le port, les familles retenues, leurs noms HYPHA et les étiquettes gardées :

integrations:
  openmetrics:
    - profile: vllm                          # http://127.0.0.1:8000/metrics
    - profile: litellm
      bearer_token_file: /etc/hypha/litellm.key
    - profile: tgi
      url: http://127.0.0.1:3000/metrics
    - profile: llamacpp                      # llama-server lancé avec --metrics

Chaque cible publie le contrôle openmetrics.can_connect et porte l'étiquette instance_name (le nom du profil, sauf name posé). Le fonctionnement du lecteur (débits, histogrammes, plafond de séries) est décrit dans la configuration.

vLLM

Étiquettes gardées : model_name, engine, finished_reason. Les noms des versions antérieures de vLLM (gpu_cache_usage_perc, time_per_output_token_seconds) sont lus sous les mêmes noms HYPHA.

LiteLLM

Les mesures Prometheus font partie de l'édition libre de LiteLLM. Activez le rappel dans sa conf :

litellm_settings:
  callbacks: ["prometheus"]

Depuis la version 1.85, /metrics demande une clé : donnez-la à l'agent par bearer_token_file (fichier lisible par l'agent seul), ou servez les mesures sur un port à part.

Étiquettes gardées : modèle demandé, modèle, groupe de modèles, fournisseur, code de réponse, classe d'erreur. L'utilisateur, son adresse électronique, son adresse IP et l'empreinte de sa clé ne sont jamais conservés.

Text Generation Inference

Le profil suit les noms de la documentation de TGI. L'image Docker sert sur le port 80 du conteneur : indiquez l'url du port publié.

llama.cpp

Lancez llama-server avec --metrics.

GPU NVIDIA

Par nvidia-smi

Sans exportateur, l'agent lit nvidia-smi toutes les 30 secondes. L'intégration est coupée par défaut :

integrations:
  nvidia_gpu:
    enabled: auto          # active si nvidia-smi est présent ; true pour la forcer
    # path: /usr/bin/nvidia-smi
    # processes: false     # sans la liste des processus de calcul
MesureSens
gpu.countnombre de GPU
gpu.utilization, gpu.memory.utilizationoccupation du GPU et du contrôleur mémoire (%)
gpu.memory.total, .used, .free (octets), gpu.memory.usage (%)mémoire du GPU
gpu.temperature, gpu.memory.temperaturetempératures (°C)
gpu.power.draw, gpu.power.limit (W), gpu.power.usage (%)puissance
gpu.clock.sm, gpu.clock.mem, gpu.clock.sm.maxhorloges (MHz)
gpu.fan.speed, gpu.pstateventilateur (%), état de performance (0 = P0)
gpu.ecc.corrected, gpu.ecc.uncorrectederreurs ECC depuis le chargement du pilote
gpu.throttle.thermal1 si les horloges sont réduites par la chaleur
gpu.processes, gpu.process.memoryprocessus de calcul et mémoire par programme (process_name)

Étiquettes : gpu (index), gpu_uuid, gpu_name. Contrôles : gpu.can_query (nvidia-smi répond, pilote chargé et en accord avec sa bibliothèque) et gpu.health par GPU (critique : erreurs ECC non corrigées ; avertissement : ralentissement thermique).

Les valeurs que le GPU ne fournit pas ([N/A], mémoire unifiée des machines Grace et DGX Spark, ventilateur absent) ne sont pas envoyées. Un champ inconnu du pilote est retiré de la requête et la lecture reprend.

Par l'exportateur DCGM

Avec dcgm-exporter (Kubernetes, grappes de calcul), déclarez le profil dcgm :

integrations:
  openmetrics:
    - profile: dcgm        # http://127.0.0.1:9400/metrics

Les mesures prennent les mêmes noms que celles de nvidia-smi quand l'unité est la même (gpu.utilization, gpu.temperature, gpu.power.draw, gpu.clock.sm, gpu.memory.used en octets depuis dcgm-exporter 4.9) ; les autres gardent un nom à part : gpu.fb.used_mib, gpu.fb.free_mib (Mio, jusqu'à la 4.8), gpu.utilization_ratio (fraction, 4.9), gpu.xid_error, gpu.pcie.replays, gpu.remapped_rows.*, gpu.engine.active, gpu.tensor.active, gpu.dram.active. Étiquettes : gpu, uuid, modelname, et pod, namespace, container sous Kubernetes. La température de la mémoire n'est pas retenue : DCGM la rend par une valeur sentinelle sur les GPU sans capteur.

Choisissez nvidia-smi ou DCGM sur une même machine, pas les deux.

Modèles de moniteurs

Famille IA et GPU du catalogue : Ollama injoignable ou lent, serveur d'inférence injoignable (par instance_name), file d'attente d'inférence vLLM ou TGI, latence du premier jeton vLLM, cache KV vLLM saturé, requêtes différées par llama.cpp, déploiement LiteLLM en panne, GPU trop chaud, GPU saturé, mémoire GPU pleine, GPU en défaut, nvidia-smi en échec, erreur XID d'un GPU.

Tableaux prêts

Tableaux de bord › Catalogue, famille IA et GPU : GPU NVIDIA, Ollama, vLLM, LiteLLM, Text Generation Inference et llama.cpp.

Mise à jour : 20 novembre 2026