Gemeinsame Benchmarks auf der OCI-H100-Infrastruktur ergaben zehnmal so viele gleichzeitig unterstützte Nutzer, einen zehnmal höheren Token-Durchsatz und siebenmal mehr bereitgestellte Token ohne zusätzliche GPUs

CAMPBELL, Kalifornien, 9. Juni 2026 /PRNewswire/ -- WEKA, das Unternehmen für KI-Daten- und Speicherinfrastruktur, gab heute Benchmarks im Produktionsmaßstab bekannt, die zeigen, wie Unternehmen die Wirtschaftlichkeit von KI-Inferenz mit langem Kontext verbessern können, indem sie mit gleichem GPU-Bestand mehr Nutzer unterstützen und mehr Token verarbeiten. Die Benchmarks zeigen, dass die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf Oracle Cloud Infrastructure (OCI) zehnmal so viele Nutzer gleichzeitig unterstützt, einen zehnmal höheren Token-Durchsatz erreicht und siebenmal mehr Token pro GPU verarbeitet als reine DRAM-Konfigurationen, und das ohne zusätzliche Infrastruktur. Die Ergebnisse wurden auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten und Kontextfenstern mit 100 000 Token validiert.

„KI-Workloads in Unternehmen bringen Kontextfenster und GPU-Auslastung an neue Grenzen", sagte Pablo Selem, leitender Direktor für Softwareentwicklung bei Oracle Cloud Infrastructure. „Diese Benchmarks zeigen, wie die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf OCI Speicherengpässe beseitigt, sodass Kunden größere, anspruchsvollere Inferenz-Workloads unterstützen können, ohne einfach weitere GPUs hinzuzunehmen."

Drei Ergebnisse, die neue Maßstäbe für die Inferenzkalkulation setzen

Im Produktionsmaßstab auf einem Bare-Metal-H100-Cluster validiert (neun Knoten, 72 GPUs, Kontextfenster mit 100 000 Token, Tausende gleichzeitig unterstützte Nutzer), lieferte NeuralMesh mit Augmented Memory Grid auf OCI:

• Zehnmal so viele Nutzer gleichzeitig, ohne zusätzliche Infrastruktur. NeuralMesh mit Augmented Memory Grid ließ sich auf über 5000 gleichzeitig unterstützte Nutzer skalieren, verglichen mit etwa 600 bei reinen DRAM-Konfigurationen. Dadurch wird der abrupte Leistungseinbruch vermieden, der bei einer Cache-Sättigung auftritt, indem der aktive Cache-Arbeitsdatensatz von 8,64 TiB DRAM auf 287 TiB nutzbaren NVMe-Speicher erweitert wird. Außerdem bedeutet eine höhere Nutzerzahl pro GPU, dass dieselbe Investition weiter reicht.
• Zehnmal höherer Token-Durchsatz. Mehr Leistung von jeder GPU im Cluster. Auf OCI erreichte NeuralMesh mit Augmented Memory Grid etwa zwei Millionen Token pro Sekunde, verglichen mit weniger als 200 000 Token bei der reinen DRAM-Baseline. Für Produktteams, die Echtzeit-KI-Funktionen wie Suche, Zusammenfassung, Code-Unterstützung sowie Multi-Turn-Agenten betreiben, bestimmt der Durchsatz die Obergrenze dafür, wie viele Nutzer unterstützt werden können, wie schnell Funktionen reagieren und wie viel Umsatz die Infrastruktur tragen kann.
• Siebenmal mehr Token bereitgestellt. Geringere Kosten pro Token bei Skalierung. NeuralMesh mit Augmented Memory Grid stellte in einem einzigen einstündigen Test mit 2400 Nutzern fünf Milliarden Token bereit, verglichen mit 700 Millionen Token bei der reinen DRAM-Baseline. In Unternehmen mit agentenbasierten Arbeitsabläufen zehrt die DRAM-Sättigung durch ständige Neuberechnungen unbemerkt GPU-Kapazität auf und belastet damit unmittelbar die Kosten pro Token sowie die Investitionsrendite.

„Die Inferenz wird dadurch begrenzt, wie viel effektiver Speicher den GPUs zur Verfügung steht", sagte Liran Zvibel, Geschäftsführer von WEKA. „Diese Ergebnisse belegen, dass sich die Token-Ökonomie von KI nicht allein durch Hardware verbessern lässt, sondern durch die Beseitigung der Speicherbarriere, die bislang die tatsächliche Obergrenze für die Leistung bestehender Hardware darstellt. NeuralMesh mit Augmented Memory Grid auf OCI stellt Kunden auf äußerst kosteneffiziente Weise um Größenordnungen mehr Token bereit."

Transformation der KI-Wirtschaftlichkeit durch eine Infrastruktur für Kontextspeicher

Mit wachsender Nachfrage nach Inferenz verstärken sich Ineffizienzen in der KI-Infrastruktur. Jede Verdrängung aus dem Schlüssel-Wert-Cache (KV-Cache) ist eine Belastung: für GPU-Zyklen, Latenz, Benutzererfahrung und die Kosten jedes bereitgestellten Tokens. Bei Workloads mit langem Kontext und agentenbasierten Workloads, bei denen Eingaben regelmäßig 100 000 Token oder mehr umfassen, ist diese Belastung kein Rundungsfehler. Sie wirkt sich direkt auf die Wirtschaftlichkeit jedes Unternehmens aus, das KI im Produktionsbetrieb einsetzt.

Augmented Memory Grid, eine Funktionalität von NeuralMesh, löst das Problem auf Architekturebene, indem der KV-Cache vom lokalen GPU-Speicher entkoppelt und in einem leistungsstarken Token-Warehouse (Token-Speicher) gespeichert wird, auf das der gesamte Cluster zugreifen kann. Jeder Host kann jede Sitzung mit erhaltenen Cache-Treffern bedienen. Dadurch entfällt starre Sitzungsbindung, während zugleich die DRAM-Leistung übertroffen, der Lastausgleich verbessert und eine saubere horizontale Skalierung bei zunehmender Parallelität ermöglicht wird. Das Ergebnis ist ein persistenter Kontextspeicher für KI-Agenten und ein Kostenhebel, der Inferenz mit langem Kontext bei Skalierung wirtschaftlich macht.

Produktionsreifer Nachweis

OCI veröffentlichte die vollständige Benchmark-Methodik, die Systemkonfiguration und die Ergebnisse am 13. Mai 2026 in seinem KI- und Datenwissenschaftsblog. Die Benchmarks, die auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten durchgeführt wurden, gehen über die vorherige Validierungsphase hinaus, in der eine 1000-fach höhere KV-Cache-Kapazität und eine bis zu 20-fach schnellere Zeit bis zum ersten Token bei 128 000 Token nachgewiesen wurden. In dieser neuesten Phase wird die volle Wirtschaftlichkeit der Inferenz im Produktionsbetrieb getestet: Dichte gleichzeitiger Zugriffe, dauerhafter Durchsatz, Cache-Persistenz und Stabilität der Service-Level-Ziele (SLO) bei Bedarfsspitzen unter hoher Last.

Erhältlich im Oracle Marketplace

NeuralMesh mit Augmented Memory Grid ist für WEKA-Kunden allgemein verfügbar und im Oracle Marketplace erhältlich, wobei OCI WEKAs exklusiver Cloud-Partner für die Markteinführung ist. Unternehmen, die Inferenz mit langem Kontext auf OCI einsetzen, können bereits heute eine validierte, produktionsreife Architektur bereitstellen. Weitere Informationen zum Benchmark von OCI und WEKA zu Augmented Memory Grid finden Sie im OCI-Blog: https://blogs.oracle.com/ai-and-datascience/scaling-long-context-inference-on-oci-with-wekas-augmented-memory-grid.

Informationen zu WEKA

WEKA ist das Unternehmen für KI-Daten- und Speicherinfrastruktur, das die Wirtschaftlichkeit agentenbasierter KI verändert. Die NeuralMesh™-Plattform vereint Hochleistungsdatenspeicher mit erweitertem GPU-Speicher und bietet Unternehmen, KI-Cloud-Anbietern sowie KI-Entwicklern eine einheitliche Grundlage für Training, Inferenz und agentenbasierte Workloads. Mit Augmented Memory Grid erweitert NeuralMesh die GPU-Speicherkapazität um das 1000-fache, beschleunigt die Zeit bis zum ersten Token um das bis zu 20-fache und unterstützt bei gleichem GPU-Bestand zehnmal so viele Nutzer gleichzeitig, wie Produktionsbenchmarks belegen. WEKA, dem 30 % der Fortune 50-Unternehmen vertrauen, unterstützt Unternehmen dabei, KI schneller zu skalieren, die GPU-Auslastung zu optimieren und die Kosten jedes bereitgestellten Tokens zu senken. Weitere Informationen finden Sie auf www.weka.io oder vernetzen Sie sich mit uns auf LinkedIn und X.

WEKA und das W-Logo sind eingetragene Marken von WekaIO, Inc. Andere hier genannte Markennamen können Marken der jeweiligen Eigentümer sein.

View original content to download multimedia:https://www.prnewswire.com/de/pressemitteilungen/weka-und-oracle-cloud-infrastructure-belegen-zehnfache-durchsatzsteigerungen-fur-ki-inferenz-mit-langem-kontext-302794928.html

Nach gut zehn Monaten Bauzeit ist die stark befahrene Bahnstrecke zwischen Hamburg und Berlin wieder vollständig in Betrieb – allerdings mit sechs Wochen Verspätung gegenüber dem ursprünglichen Zeitplan. Am frühen Morgen fuhr der erste Fernzug um 5.36 Uhr mit leichter Verspätung vom Hamburger Hauptbahnhof in Richtung Hauptstadt ab, wie die Deutsche Bahn mitteilte. Bereits seit Samstagabend nutzen Güterzüge den Korridor, seit Sonntag rollen auch wieder Fern- und Regionalzüge regulär über die sanierte Verbindung.

Für Tausende Pendlerinnen und Pendler entfällt damit der belastende Ersatzverkehr mit Bussen. Während der Generalsanierung war der Fernverkehr über Stendal und Uelzen umgeleitet worden, regionale Verbindungen zwischen Hamburg und Berlin fielen monatelang aus. Schon Mitte Mai hatte die Bahn einen ersten Teilabschnitt entlastet und die durchgehende Verbindung zwischen Hamburg und Schwerin wieder aufgenommen. Nun ist die gesamte Achse zurück im Netz – die Bahn warnt jedoch vor Anlaufschwierigkeiten und empfiehlt, Fahrzeiten vorab zu prüfen.

Die Wiederinbetriebnahme verläuft holprig. Am ersten Betriebstag sammelten sich auf der frisch sanierten Strecke Verspätungen von mindestens 15 Minuten, teils deutlich darüber. Fernzüge benötigten am Sonntag in der Regel mehr als zwei Stunden und 15 Minuten zwischen den Hauptbahnhöfen, obwohl die schnellsten ICE nach Abschluss der Arbeiten eigentlich in rund einer Stunde und 47 Minuten verkehren sollen. Hintergrund ist unter anderem, dass das für Tempo 230 ausgelegte LZB-Zugsicherungssystem auf Teilen der Trasse noch nicht abgenommen ist. Auf diesen Abschnitten gilt vorerst das PZB-System mit einer zulässigen Höchstgeschwindigkeit von 160 Stundenkilometern.

Die Bauarbeiten auf der 2025 begonnenen Generalsanierung umfassten nach Bahnangaben die Erneuerung von 165 Kilometern Gleisen und die Instandsetzung weiterer 61 Kilometer. Zudem wurden 249 Weichen eingebaut und 28 Bahnhöfe modernisiert. Der ursprünglich bis Ende April angesetzte Abschluss verzögerte sich durch einen harten Winter und gefrorenen Boden, der den Zeitpuffer aufbrauchte. Mit der jetzt abgeschlossenen Kernsanierung ist die Verbindung zwischen den beiden größten deutschen Städten infrastrukturell deutlich erneuert, ihre geplante Höchstleistung im Fahrplanbetrieb dürfte aber erst erreicht werden, wenn die technischen Zugsicherungssysteme auf der gesamten Strecke vollumfänglich verfügbar sind.