Deutsch English

Brainsystems® Inhouse-KI in der Praxis

Inhouse-KI für Unternehmen – lokal auf eigener Hardware

Mit einer Brainsystems® Inhouse-KI können Sie eine Vielzahl zeitaufwändiger Arbeitsprozesse beschleunigen: Dokumente zusammenfassen, Unternehmenswissen durchsuchen, Verträge vorprüfen, Ausschreibungen analysieren, technische Dokumentationen auswerten und Entscheidungen vorbereiten.
Die Verarbeitung erfolgt auf eigener Hardware in Ihrer Infrastruktur. Interne Dokumente, freigegebene Datenquellen, Anfragen und Antworten bleiben im Unternehmen – ohne externe Cloud-Verarbeitung und ohne die zusätzlichen Sicherheits-, Datenschutz- und Compliance-Fragen, die bei der Bearbeitung vertraulicher Inhalte in fremden KI-Diensten entstehen können.

Lokaler KI-Server mit Software-Stack und Benutzeroberfläche

Beispiele aus der Praxis wie eine lokale KI Sie unterstützen kann:




Warum Inhouse-KI?

Lokal. Sicher. Unabhängig.

Inhouse-KI: Datenhoheit und digitale Handlungsfähigkeit

Mit einer Inhouse-KI entsteht eine eigene KI-Infrastruktur direkt im Unternehmen. Modelle, Anfragen, Dokumente und Unternehmensdaten werden innerhalb einer selbst bestimmten Umgebung verarbeitet. So wird KI langfristig nutzbar – für vertrauliche Informationen, zentrale Geschäftsprozesse und den Aufbau eigener digitaler Kompetenz.

Unternehmensdaten bleiben intern

Dokumente, Anfragen und erzeugte Antworten werden in der eigenen Infrastruktur verarbeitet. Unternehmen bestimmen selbst, wo Daten gespeichert werden, welche Systeme auf Informationen zugreifen und welche Benutzer welche Inhalte verwenden dürfen.

Eigene Sicherheits- und Zugriffskonzepte

Brainsystems® kann in bestehende Datenschutz-, Sicherheits- und Compliance-Strukturen eingebunden werden – mit definierten Datenquellen, Rollenrechten, getrennten Wissensbereichen und internen Freigabeprozessen.

KI-Leistung ohne Token-Abhängigkeit

Die vorhandene Rechenleistung steht unternehmensweit zur Verfügung. Häufige Anfragen, umfangreiche Dokumente und wachsende Nutzung werden innerhalb der verfügbaren Systemkapazität verarbeitet – ohne nutzungsabhängige Cloud- oder Token-Abos.

Betrieb im eigenen Netzwerk

Eine lokale KI arbeitet direkt in der Unternehmensumgebung. Mitarbeiter und angebundene Systeme greifen auf eine intern bereitgestellte Plattform zu. Verfügbarkeit, Wartungsfenster und Prioritäten bleiben unter eigener Kontrolle.

Unternehmenseigene Pipelines und Workflows

Eine Inhouse-KI kann schrittweise in eigene Abläufe eingebunden werden: von der Dokumentensuche über interne Wissensabfragen bis zu Datenbank-, ERP-, CRM- oder Ticketsystem-Anbindungen. So entstehen eigene KI-Workflows, die zu bestehenden Prozessen passen und nicht von einer externen Plattform vorgegeben werden.

Beispielhafte Darstellung: Lokales KI-System mit Wissensdatenbank, internen Dokumenten und Know-How - ohne Cloud.


Brainsystems® Produktfamilie

Wählen Sie die passende lokale KI für Ihr Unternehmen

Brainsystems® Systeme sind leistungsstarke On-Premise KI-Plattformen für Unternehmen – von der kompakten lokalen KI bis zur Large-Memory-Plattform für umfangreiche Wissensbestände und anspruchsvolle KI-Workloads.

On-Prem KI Brainsystems 64G

Brainsystems® 64G

Typischer Einsatz Team, Büro, Fachabteilung, Entwicklung
64GB ECC Pro Memory für lokale KI, RAG, Wissenssuche und Dokumentenanalyse
1TB Local Storage High-Speed NVMe Storage
KI-Workloads Ideal für lokale Assistenten, Dokumentensuche, Wissensabfragen und klar definierte KI-Aufgaben
Multi-GPU Ready skalierbar auf bis zu 4 GPU-Beschleuniger für mehr parallele KI-Anfragen
Jetzt konfigurieren
On-Prem KI Brainsystems 128G

Brainsystems® 128G

Typischer Einsatz Team, Abteilung, wachsender KI-Einsatz
128GB ECC Pro Memory große Reserven für Wissensbestände, RAG und parallele KI-Dienste
2TB Local Storage High-Speed NVMe Storage
KI-Workloads Für umfangreiche Wissenssysteme, größere Dokumentenbestände und mehrere parallel betriebene KI-Dienste
Multi-GPU Ready skalierbar auf bis zu 4 GPU-Beschleuniger für mehr parallele KI-Anfragen
Jetzt konfigurieren
On-Prem KI Brainsystems 256G

Brainsystems® 256G

Typischer Einsatz große Teams, zentrale Inhouse-KI
256GB ECC Pro Memory Large-Memory-Plattform mit maximalen Reserven für lokale KI
4TB Local Storage High-Speed NVMe Storage
KI-Workloads Für sehr große Wissensbestände, umfangreiche Datenverarbeitung und anspruchsvolle parallele KI-Workflows
Multi-GPU Ready skalierbar auf bis zu 4 GPU-Beschleuniger für mehr parallele KI-Anfragen
Jetzt konfigurieren

Brainsystems® Plattform

Built for Local AI.

Alle Brainsystems® Systeme basieren auf einer professionellen, modularen Serverplattform mit dedizierter KI-Beschleunigung und umfangreichen Erweiterungsreserven.

28-Core CPU AMD EPYC Pro Chip für parallele Datenverarbeitung, RAG, Embeddings und KI-Dienste
High-Speed AI Dedizierte GPU-Beschleunigung mit hoher AI Memory Bandwidth
Dual 10GbE Zwei integrierte 10-Gigabit-Ethernet-Schnittstellen für Unternehmensnetzwerk und High-Speed Storage
Integrated Remote Management Fernzugriff für Systemüberwachung, Diagnose und Administration unabhängig vom Betriebssystem
Modular by Design Standgerät für den Büroeinsatz oder 19" Rack – mit umfangreichen Erweiterungsoptionen für zukünftige Anforderungen
StorageCube Ready Direkte 10GbE-Anbindung an optionalen StorageCube® für große lokale Daten- und Wissensbestände

Brainsystems® ist eine lokale KI-Hardwareplattform. Die Auswahl, Lizenzprüfung, Installation, Konfiguration und Nutzung einzelner KI-Modelle liegt in der Verantwortung des Kunden. Genannte KI-Modelle dienen ausschließlich als technische Referenz für Speicherbedarf, Laufzeitverhalten und Systemdimensionierung. Sie sind nicht Bestandteil des Standard-Lieferumfangs und stellen keine Empfehlung, Freigabe oder Zusicherung für den produktiven Einsatz dar.

Technische Beratung zu INHOUSE-KI-Systemen Unterstützung bei Auswahl, Konfiguration und Angebotsanfragen +49 2236 / 30 903 10

System-Benchmarks · gleichzeitige KI-Anfragen

Mehr GPUs – Mehr Nutzer
Mehr GPUs verkürzen nicht die Antwortzeit einzelner KI-Anfragen.
Sie ermöglichen mehr gleichzeitige KI-Nutzer.


Die passende Brainsystems® Ausbaustufe richtet sich nicht allein nach der Mitarbeiterzahl, sondern danach, wie viele KI-Aufgaben gleichzeitig flüssig starten sollen. Der Benchmark zeigt, wie sich 1, 2 und 4 GPUs bei paralleler Nutzung auf den Antwortbeginn auswirken.

Entscheidend für das Nutzererlebnis ist nicht nur die reine Rechenleistung einer einzelnen Anfrage. In der Praxis zählt vor allem, wie sich das System verhält, wenn mehrere Personen nahezu gleichzeitig mit der Inhouse-KI arbeiten: Dokumente zusammenfassen, Inhalte vergleichen, interne Informationen abfragen oder längere Analysen starten.

Geht man von einem gewünschten Antwortbeginn von ungefähr 30 Sekunden aus, ergibt sich aus dem Benchmark folgendes Bild:
5 parallele KI-Anfragen mit 1 GPU -> 29,5s (bis Antwortbeginn P95)
10 parallele KI-Anfragen mit 2 GPUs -> 31,7s (bis Antwortbeginn P95)
20 parallele KI-Anfragen mit 4 GPUs -> 35,0s (bis Antwortbeginn P95)


Wichtig ist die Unterscheidung zwischen gleichzeitig aktiven KI-Anfragen und KI-Anwendern. Nicht jeder Anwender stellt exakt im selben Moment eine Anfrage. Die tatsächliche Anzahl der Personen, die mit einem System arbeiten können, kann deshalb deutlich höher liegen. Sie hängt vom Aufgabenfeld, der Häufigkeit der Nutzung, der Länge der Dokumente, der Modellgröße und den typischen Lastspitzen im Unternehmen ab.

Mehr GPUs bedeuten in diesem Zusammenhang nicht einfach „mehr Geschwindigkeit“ für eine einzelne Anfrage. Der wichtigste Effekt ist zusätzliche parallele Kapazität: Mehrere Modellinstanzen können gleichzeitig arbeiten, Warteschlangen werden kürzer und der sichtbare Antwortbeginn bleibt auch bei steigender Nutzung besser kontrollierbar. Genau dieser Punkt ist für das tägliche Nutzererlebnis entscheidend.


Antwortbeginn bei 1, 2 und 4 GPUs

Das Diagramm zeigt den P95-Antwortbeginn bei mehreren gleichzeitig aktiven KI-Anfragen. So wird sichtbar, ab wann zusätzliche GPUs das Nutzererlebnis stabilisieren und parallele Nutzung flüssiger bleibt.

X1 · 1 GPU X2 · 2 GPUs X4 · 4 GPUs Orientierungspunkt

Die dargestellten Werte sind Benchmark- und Orientierungswerte einer definierten Testkonfiguration. Die Orientierungspunkte 5, 10 und 20 gleichzeitige KI-Anfragen wurden zwischen benachbarten Benchmarkstufen interpoliert. In der Praxis können Modell, Kontextlänge, Dokumentumfang, Laufzeitumgebung und Nutzungsverhalten die Ergebnisse beeinflussen.

KI-Modellgrößen und VRAM

Antwortqualität

Modellgröße ist wichtig. Kontext ist entscheidend.


Der verfügbare GPU-Speicher bestimmt mit, welche KI-Modelle lokal betrieben werden können. Vereinfacht gilt: Je größer ein Modell ist, desto besser kann es komplexe Fragestellungen, lange Zusammenhänge und Aufgaben mit vielen Bedingungen verarbeiten. Für sehr viele Unternehmensaufgaben reicht jedoch bereits ein mittleres Modell, das mit 32 GB VRAM betrieben werden kann.

In der Praxis ist die Modellgröße aber nur ein Teil der Antwortqualität. Oft ist der passende Kontext wichtiger: interne Dokumente, Handbücher, Richtlinien, Verträge, technische Unterlagen, Projektdaten oder freigegebene Wissensbereiche. Erst durch diesen Unternehmenskontext wird aus einem allgemeinen Sprachmodell eine nutzbare Assistenz für konkrete interne Aufgaben.

Dokumente Wissensbereiche Datenbanken ERP CRM Ticketsysteme Projektdaten interne Schnittstellen

Eine Brainsystems® Inhouse-KI kann gezielt mit geschütztem Lesezugriff auf interne Datenquellen angebunden werden. Die KI erhält dadurch relevante Informationen aus dem Unternehmen, ohne dass vertrauliche Inhalte zur Verarbeitung an externe Cloud-Dienste übertragen werden müssen. Die Datenquellen bleiben dabei kontrollierbar: lesend, abgegrenzt, rollenbasiert und passend zur jeweiligen Anwendung.

Größere Modelle werden vor allem dann interessant, wenn sehr komplexe Auswertungen, viele Bedingungen, lange Dokumente oder besonders große Kontexte verarbeitet werden sollen. Welche Modelle eingesetzt werden, bleibt flexibel: Es können mehrere Modelle parallel genutzt, gewechselt und getestet werden. Der Bestand an internen Dokumenten, Datenquellen und Unternehmenskontext bleibt dabei erhalten.

Genannte KI-Modelle, Modellnamen, Produktnamen und Marken gehören den jeweiligen Rechteinhabern. Die Nennung dient ausschließlich der technischen Einordnung von Modellgröße, Speicherbedarf und lokaler Ausführbarkeit unter bestimmten Test- und Konfigurationsbedingungen. Sie stellt keinen Lieferumfang, keine Empfehlung, keine Zertifizierung, keine Rangfolge und keinen Qualitätsvergleich einzelner KI-Modelle, Hersteller oder Anbieter dar. KI-Modelle sind nicht Bestandteil des Standard-Lieferumfangs von Brainsystems®. Verfügbarkeit, Lizenzbedingungen und Nutzungsrechte einzelner Modelle sind vor dem Einsatz im jeweiligen Unternehmen gesondert zu prüfen.

System-Benchmarks · parallele KI-Nutzung

Multi-GPU-Skalierung bei gleichzeitigen KI-Anfragen

Die Tabs zeigen ausschließlich gemessene Hardware-, Antwortzeit- und Skalierungswerte innerhalb des jeweils genannten Referenzmodells. Sie stellen keinen Qualitätsvergleich, kein Ranking und keine Empfehlung einzelner KI-Modelle dar. Die Ergebnisse zeigen das Verhalten der lokalen Systemplattform unter definierten Testbedingungen. DeepSeek R1 und GPT-OSS werden wegen ihrer Reasoning-Ausgabe nicht in den modellübergreifenden Mittelwert ohne Thinking eingerechnet.

Qwen 3 30B

Q4_K_M · ca. 19,2 GB VRAM je Modellinstanz

Bei 32 gleichzeitig aktiven Anfragen erreichten zwei GPUs den 1,99-fachen und vier GPUs den 3,97-fachen Gesamtdurchsatz einer einzelnen GPU.

Zeit bis zum Antwortstart bei paralleler Nutzung

P95-Zeit bis zum ersten sichtbaren Antwort-Token · 1 bis 32 gleichzeitig aktive Anfragen

Die Startzeit bezeichnet den ersten sichtbaren Antwort-Token.

Gesamtdurchsatz bei 32 aktiven Anfragen

1 GPU
1,00×
2 GPUs
1,99×
4 GPUs
3,97×

Einordnung

Bei vier gleichzeitig aktiven Anfragen lag der P95-Antwortstart mit X1 bei 4,28 Sekunden, mit X2 bei 2,49 Sekunden und mit X4 bei 0,70 Sekunden.

Unter der höchsten gemessenen Last erreichte X4 nahezu den vierfachen Gesamtdurchsatz einer einzelnen GPU.

Qwen 3 30B: gemessene P95-Startzeit, standardisierte Dauer für 256 erzeugte Tokens und Gesamtdurchsatz.
Gleichzeitig aktive Anfragen 1 GPU 2 GPUs 4 GPUs
P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s
1 0,71 s1,66 s153,60 0,70 s1,64 s155,25 0,74 s1,69 s152,77
2 1,64 s2,58 s193,24 0,70 s1,64 s308,02 0,70 s1,65 s308,85
4 4,28 s5,24 s194,06 2,49 s3,43 s385,64 0,70 s1,64 s616,87
8 9,42 s10,37 s198,19 5,24 s6,19 s388,95 3,07 s4,02 s765,50
16 19,72 s20,66 s192,38 10,66 s11,62 s383,19 5,66 s6,61 s772,93
32 40,71 s41,66 s192,36 21,04 s21,99 s382,43 10,97 s11,92 s763,17

Qwen 3.5 122B

Q4_K_M · ca. 78,7 GB VRAM je Modellinstanz

Bei 32 gleichzeitig aktiven Anfragen erreichten zwei GPUs den 1,98-fachen und vier GPUs den 4,00-fachen Gesamtdurchsatz einer einzelnen GPU.

Zeit bis zum Antwortstart bei paralleler Nutzung

P95-Zeit bis zum ersten sichtbaren Antwort-Token · 1 bis 32 gleichzeitig aktive Anfragen

Die Startzeit bezeichnet den ersten sichtbaren Antwort-Token.

Gesamtdurchsatz bei 32 aktiven Anfragen

1 GPU
1,00×
2 GPUs
1,98×
4 GPUs
4,00×

Einordnung

Bei vier gleichzeitig aktiven Anfragen lag der P95-Antwortstart mit X1 bei 10,60 Sekunden, mit X2 bei 6,11 Sekunden und mit X4 bei 1,70 Sekunden.

Die zusätzliche GPU-Kapazität wurde in dieser Messreihe nahezu vollständig in parallelen Durchsatz umgesetzt.

Qwen 3.5 122B: gemessene P95-Startzeit, standardisierte Dauer für 256 erzeugte Tokens und Gesamtdurchsatz.
Gleichzeitig aktive Anfragen 1 GPU 2 GPUs 4 GPUs
P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s
1 1,69 s3,80 s66,89 1,72 s3,81 s66,89 1,69 s3,73 s67,72
2 4,25 s6,37 s79,28 1,70 s3,83 s132,13 1,69 s3,77 s134,60
4 10,60 s12,72 s78,40 6,11 s8,25 s157,73 1,70 s3,82 s266,73
8 23,36 s25,48 s79,12 12,56 s14,70 s156,00 7,84 s9,99 s304,79
16 48,79 s50,90 s80,45 25,45 s27,59 s157,47 14,59 s16,74 s312,79
32 99,57 s101,69 s78,67 51,04 s53,18 s155,73 27,16 s29,32 s314,95

Llama 4 Scout

Q4_K_M · ca. 66,2 GB VRAM je Modellinstanz

Bei 32 gleichzeitig aktiven Anfragen erreichten zwei GPUs den 1,97-fachen und vier GPUs den 3,91-fachen Gesamtdurchsatz einer einzelnen GPU.

Zeit bis zum Antwortstart bei paralleler Nutzung

P95-Zeit bis zum ersten sichtbaren Antwort-Token · 1 bis 32 gleichzeitig aktive Anfragen

Die Startzeit bezeichnet den ersten sichtbaren Antwort-Token.

Gesamtdurchsatz bei 32 aktiven Anfragen

1 GPU
1,00×
2 GPUs
1,97×
4 GPUs
3,91×

Einordnung

Bei vier gleichzeitig aktiven Anfragen lag der P95-Antwortstart mit X1 bei 12,93 Sekunden, mit X2 bei 6,98 Sekunden und mit X4 bei 1,61 Sekunden.

Auch unter hoher paralleler Last blieb die Skalierung mit einer, zwei und vier vollständigen Modellinstanzen nahezu linear.

Llama 4 Scout: gemessene P95-Startzeit, standardisierte Dauer für 256 erzeugte Tokens und Gesamtdurchsatz.
Gleichzeitig aktive Anfragen 1 GPU 2 GPUs 4 GPUs
P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s
1 1,61 s4,54 s56,15 1,61 s4,49 s56,70 1,58 s4,43 s57,53
2 4,97 s7,93 s64,14 1,61 s4,55 s110,66 1,61 s4,47 s113,68
4 12,93 s15,87 s63,20 6,98 s9,96 s127,17 1,61 s4,58 s224,62
8 28,69 s31,64 s63,63 15,29 s18,27 s126,40 9,15 s12,15 s251,69
16 60,31 s63,26 s64,00 31,04 s34,03 s124,98 17,30 s20,31 s250,50
32 123,56 s126,51 s63,90 62,93 s65,91 s125,92 33,41 s36,42 s249,97

Mistral Medium 3.5 128B

Q4_K_M · ca. 79,5 GB VRAM je Modellinstanz · Mittel aus 3 Runden

Im robusteren Drei-Runden-Lauf erreichten zwei GPUs bei 32 aktiven Anfragen den 1,98-fachen und vier GPUs den 3,83-fachen Gesamtdurchsatz.

Zeit bis zum Antwortstart bei paralleler Nutzung

P95-Zeit bis zum ersten sichtbaren Antwort-Token · 1 bis 32 gleichzeitig aktive Anfragen

Die Startzeit bezeichnet den ersten sichtbaren Antwort-Token.

Gesamtdurchsatz bei 32 aktiven Anfragen

1 GPU
1,00×
2 GPUs
1,98×
4 GPUs
3,83×

Einordnung

Bei vier gleichzeitig aktiven Anfragen lag der P95-Antwortstart mit X1 bei 62,11 Sekunden, mit X2 bei 25,81 Sekunden und mit X4 bei 3,61 Sekunden.

Die veröffentlichten Mistral-Werte basieren auf dem Mittel aus drei nahezu identischen Messrunden.

Mistral Medium 3.5 128B: gemessene P95-Startzeit, standardisierte Dauer für 256 erzeugte Tokens und Gesamtdurchsatz.
Gleichzeitig aktive Anfragen 1 GPU 2 GPUs 4 GPUs
P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s
1 3,52 s20,09 s12,67 3,42 s19,38 s13,21 3,39 s18,99 s13,60
2 22,80 s39,34 s12,80 3,55 s20,32 s24,55 3,47 s19,52 s26,43
4 62,11 s78,70 s12,80 25,81 s42,56 s25,60 3,61 s20,55 s51,20
8 140,78 s157,37 s12,80 65,38 s82,12 s25,60 32,95 s49,86 s49,01
16 298,14 s314,73 s13,01 144,75 s161,51 s25,60 74,12 s91,06 s49,23
32 612,52 s629,11 s12,94 303,37 s320,11 s25,60 153,50 s170,41 s49,56

DeepSeek R1 70B

Q4_K_M · ca. 43,7 GB VRAM je Modellinstanz · Thinking aktiviert

Bei 32 gleichzeitig aktiven Anfragen erreichten zwei GPUs den 1,97-fachen und vier GPUs den 3,81-fachen Gesamtdurchsatz einer einzelnen GPU.

Zeit bis zum ersten erzeugten Token bei paralleler Nutzung

P95 einschließlich vorgeschalteter Reasoning-Ausgabe · 1 bis 32 gleichzeitig aktive Anfragen

Bei diesem Reasoning-Modell bezeichnet die Startzeit den ersten erzeugten Token; dieser kann zunächst Teil der Denkphase sein.

Gesamtdurchsatz bei 32 aktiven Anfragen

1 GPU
1,00×
2 GPUs
1,97×
4 GPUs
3,81×

Einordnung

Bei vier gleichzeitig aktiven Anfragen lag die P95-Zeit bis zum ersten erzeugten Token mit X1 bei 37,17 Sekunden, mit X2 bei 17,45 Sekunden und mit X4 bei 2,54 Sekunden.

Die Startzeit umfasst bei DeepSeek die vorgeschaltete Reasoning-Ausgabe und ist deshalb nicht Teil des modellübergreifenden Mittelwerts ohne Thinking.

DeepSeek R1 70B: gemessene P95-Startzeit, standardisierte Dauer für 256 erzeugte Tokens und Gesamtdurchsatz.
Gleichzeitig aktive Anfragen 1 GPU 2 GPUs 4 GPUs
P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s
1 2,67 s12,08 s21,47 2,60 s11,77 s21,60 2,42 s11,32 s22,30
2 13,86 s23,29 s21,60 2,56 s12,15 s41,60 2,50 s11,69 s44,59
4 37,17 s46,69 s21,83 17,45 s27,06 s43,20 2,54 s12,25 s85,88
8 83,67 s93,20 s21,66 41,58 s51,19 s42,42 23,33 s33,05 s82,07
16 177,09 s186,60 s21,87 88,16 s97,77 s43,32 48,07 s57,78 s83,20
32 362,99 s372,48 s21,78 182,24 s191,84 s42,84 95,22 s104,92 s83,04

GPT-OSS 120B

MXFP4 · ca. 62,4 GB VRAM je Modellinstanz · Thinking-Level „low“

Bei 32 gleichzeitig aktiven Anfragen erreichten zwei GPUs den 1,98-fachen und vier GPUs den 3,97-fachen Gesamtdurchsatz einer einzelnen GPU.

Zeit bis zum ersten erzeugten Token bei paralleler Nutzung

P95 einschließlich vorgeschalteter Reasoning-Ausgabe · 1 bis 32 gleichzeitig aktive Anfragen

Bei diesem Reasoning-Modell bezeichnet die Startzeit den ersten erzeugten Token; dieser kann zunächst Teil der Denkphase sein.

Gesamtdurchsatz bei 32 aktiven Anfragen

1 GPU
1,00×
2 GPUs
1,98×
4 GPUs
3,97×

Einordnung

Bei vier gleichzeitig aktiven Anfragen lag die P95-Zeit bis zum ersten erzeugten Token mit X1 bei 5,60 Sekunden, mit X2 bei 3,29 Sekunden und mit X4 bei 0,94 Sekunden.

Die Startzeit umfasst bei GPT-OSS die vorgeschaltete Reasoning-Ausgabe und ist deshalb nicht Teil des modellübergreifenden Mittelwerts ohne Thinking.

GPT-OSS 120B: gemessene P95-Startzeit, standardisierte Dauer für 256 erzeugte Tokens und Gesamtdurchsatz.
Gleichzeitig aktive Anfragen 1 GPU 2 GPUs 4 GPUs
P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s P95 StartP95 DauerTokens/s
1 1,10 s2,52 s104,87 0,93 s2,33 s109,00 0,96 s2,34 s108,18
2 2,08 s3,52 s142,86 0,93 s2,35 s216,36 0,93 s2,32 s219,66
4 5,60 s7,03 s144,51 3,29 s4,74 s279,93 0,94 s2,37 s432,71
8 12,64 s14,07 s142,40 7,39 s8,85 s284,88 5,20 s6,66 s564,84
16 26,72 s28,16 s144,29 14,71 s16,17 s282,39 9,73 s11,19 s555,99
32 54,87 s56,30 s143,64 29,13 s30,60 s284,69 17,22 s18,68 s569,58
Vollständige Benchmarkdaten als CSV Gemittelte Werte ohne Thinking als CSV Benchmarkdaten als JSON
Benchmarkmethodik anzeigen

Die Skalierung wurde auf derselben Brainsystems-X4-Testplattform mit vier NVIDIA RTX PRO 6000 Blackwell Max-Q gemessen. Für die einzelnen Messreihen waren nacheinander eine, zwei oder vier GPU-dedizierte Ollama-Instanzen aktiv. Pro GPU lief eine vollständige Modellinstanz.

GPUNVIDIA RTX PRO 6000 Blackwell Max-Q
GPU-Speicher96 GB GDDR7 ECC je GPU
CPUAMD EPYC 9254
Worker-Architektureine vollständige Modellinstanz je GPU
Aktive GPUs1 / 2 / 4
Gleichzeitig aktive Anfragen1 / 2 / 4 / 8 / 16 / 32
Dauer je Messpunkt300 Sekunden
Kontextfenster8.192 Tokens
Ausgabestandardisiert auf 256 erzeugte Tokens
Messwegdirekte Ollama-API
Runden1 oder 3 je Modell; Mehrfachläufe werden als arithmetisches Mittel dargestellt
Mittelwert ohne ThinkingQwen 3 30B, Qwen 3.5 122B, Llama 4 Scout und Mistral Medium 3.5 128B
Reasoning-ModelleDeepSeek R1 70B mit Thinking=true; GPT-OSS 120B mit Thinking-Level low
Abgeschlossene Anfragen28.950
Fehlgeschlagene Anfragen0

Die genannten Modelle wurden ausschließlich als technische Referenzlasten verwendet und sind nicht Bestandteil des Lieferumfangs. Die Messwerte gelten für die angegebene Testplattform, Modellversion, Quantisierung, Kontextlänge, Laufzeitumgebung und Benchmarkmethodik. Sie begründen keinen Anspruch auf identische Ergebnisse in abweichenden Kundenumgebungen und erheben keinen Anspruch auf Vollständigkeit.