KubeCon EU 2026: Kubernetes wird weiter als Infrastruktur für KI optimiert

Summary

KubeCon EU 2026: Kubernetes wird weiter als Infrastruktur für KI optimiert Auf der KubeCon und CloudNativeCon Europe 2026 in Amsterdam spielte Infrastruktur für KI wie auch letztes Jahr eine zentrale Rolle. Ein Großteil von Trainings- und Inferenz-Workloads laufen auf Beschleunigern von Nvidia. Jetzt stellt das Unternehmen den Dynamic-Resource-Allocation-Treiber (DRA) für seine GPUs unter die Schirmherrschaft der CNCF (Cloud Native Computing Foundation). Mit dem Treiber kann Kubernetes flexibel GPU-Ressourcen anfragen und umverteilen, mittels NVLink über eine Vielzahl von Kubernetes-Nodes, auf denen DRA aktiviert ist. Weiterlesen nach der Anzeige Flankiert wird der DRA-Treiber von einem neuen Open-Source-Werkzeug namens AI Cluster Runtime (AICR), das reproduzierbar GPU-beschleunigte Kubernetes-Cluster hochzieht. Es erstellt Snapshots und schreibt die Kombination aus Treiber, Kubernetes-Operator, Kernel und Systemkonfiguration in sogenannte Rezepte, die später von einem Paketmanager wie Helm oder einem GitOps-Werkzeug wie Argo CD genutzt und gegen die AI-Conformance-Anforderungen der CNCF validieren. Das AI-Conformance-Programm der CNCF baut auf dem Kubernetes-Conformance-Programm auf. Die Zahl der Plattformen, die sich „certified AI Platform“ nennen dürfen, hat sich seit dem Start im November von 18 auf 31 nahezu verdoppelt. Neu dazu gekommen sind unter anderem OVHcloud, SpectroCloud, JD Cloud und China Unicom Cloud. Inferenz Beine machen Eines der neuen CNCF-Projekte ist llm-d, das im Mai 2025 von Red Hat, Google Cloud, IBM, CoreWeave und Nvidia ins Leben gerufen wurde. Bisherige Methoden in Kubernetes für Routing, Autoscaling und Cache sind nicht unbedingt für Inferenz geeignet, weil es sich um einen höchst variablen und gleichzeitig Zustands-behafteten Workload handelt. (Bild: CNCF) Das Projekt orchestriert Kubernetes-Cluster und nutzt die Inferenz-Erweiterung für das Kubernetes Gateway API (GAIE). Die Verarbeitung von Prompts und Token-Generierung wird auf versc...