Groq

Was ist Groq?

Groq ist eine Inferenz-Cloud für KI: eine Infrastruktur, an die man Anfragen schickt, und keine Anwendung, in die man sich einloggt, um zu chatten. Das Unternehmen beschreibt sich selbst als führende Neocloud für schnelle Inferenz und vereint Infrastruktur, Inferenz und Steuerung in einer Plattform. Die gesamte Produkterzählung ruht auf einer Unterscheidung: Training bringt ein Modell hervor, Inferenz ist das, was jedes Mal geschieht, wenn dieses Modell tatsächlich genutzt wird. Die offizielle Seite formuliert es unmissverständlich: Training schafft die Möglichkeit, Inferenz schafft den Wert. Jeder bediente Kunde, jede abgeschlossene Agentenaufgabe, jeder von einem Modell geprüfte Commit ist ein Inferenzaufruf — und je stärker Produkte auf KI setzen, desto mehr wird dieser Aufruf zum Engpass.

Was Groq unter den Cloud-Anbietern ungewöhnlich macht, ist der Start auf der Siliziumebene. Das Unternehmen hat die LPU entwickelt, einen Prozessor, der speziell für das Ausführen trainierter Modelle statt für deren Training gebaut wurde, und betreibt diese Hardware heute neben NVIDIA-beschleunigtem Computing als globale Produktions-Cloud. Für Entwicklerinnen und Entwickler verschwindet all das hinter einem einzigen HTTPS-Endpunkt. Man richtet das OpenAI-SDK auf https://api.groq.com/openai/v1, tauscht den API-Schlüssel aus, und bestehender Code läuft ohne weitere Änderungen auf Groq. Abgerechnet wird pro verbrauchtem Token, nicht pro Arbeitsplatz und nicht pro Monat.

Der Katalog, auf den man Zugriff erhält, ist bewusst offen gehalten. Statt proprietäre Spitzenmodelle zu hosten, liefert Groq Modelle mit offenen Gewichten — GPT-OSS, Qwen, Whisper und historisch die Llama-Familie — in Geschwindigkeiten, die geschlossene Modell-APIs in der Regel nicht erreichen. Dieser Tausch ist das Zentrale am Produkt: Man verzichtet auf Zugang zu den allergrößten proprietären Modellen und gewinnt Latenz, Durchsatz und Preisberechenbarkeit. Groq passt hervorragend, wenn Antwortgeschwindigkeit selbst ein Produktmerkmal ist. Es passt nicht, wenn man das leistungsfähigste Modell am Markt braucht, ganz gleich, wie lange die Antwort dauert.

Kernfunktionen

• Inferenz-Hardware auf LPU-Basis: Die Language Processing Unit ist Groqs eigenes Silizium, für Inferenz konstruiert statt aus Trainingshardware abgeleitet. Groq veröffentlicht Kennzahlen auf Rack-Ebene: 256 LPUs pro Rack, 40 PB/s SRAM-Bandbreite, 128 GB On-Chip-SRAM pro Rack, 315 PFLOPS FP8-Inferenzleistung und als Schlagzahl 1.000 Token pro Sekunde und Nutzer. Die architektonische Wette lautet, dass das Halten der Modellgewichte in schnellem On-Chip-Speicher — statt sie aus externem Speicher zu streamen — jene Latenzuntergrenze beseitigt, an die das Serving auf GPUs stößt.

• Eine OpenAI-kompatible API: Die Migration wurde bewusst trivial gehalten. Basis-URL ändern, Schlüssel ändern, bestehende OpenAI-Clientbibliothek behalten — und die Anwendung läuft auf anderer Hardware. Groq liefert zusätzlich eigene Python- und TypeScript-SDKs für Teams, die einen nativen Client bevorzugen. Genau diese Designentscheidung erklärt, warum Groq so häufig als unmittelbares Geschwindigkeits-Upgrade in Projekten auftaucht, die ursprünglich gegen OpenAI geschrieben wurden.

• Ein Katalog offener Gewichte: Der Produktionskatalog dreht sich um Modelle mit offenen Gewichten: openai/gpt-oss-120b und openai/gpt-oss-20b für Text sowie whisper-large-v3 und whisper-large-v3-turbo für Spracherkennung. Die Preview-Plätze tragen neuere oder spezialisiertere Modelle — Qwen3.6 27B, GPT-OSS Safeguard für Moderation, Llama Prompt Guard zur Erkennung von Prompt-Injection und Orpheus-Stimmen für Sprachsynthese. Jedes Modell ist in der Dokumentation mit Geschwindigkeit, Preis, Ratenlimit, Kontextfenster und maximaler Antwortlänge ausgewiesen, sodass sich eine Arbeitslast kalkulieren lässt, bevor Code entsteht.

• Compound: Modelle plus eingebaute Werkzeuge: Über reine Modellendpunkte hinaus bietet Groq sogenannte Systeme an. Groq Compound ist ein KI-System auf Basis offen verfügbarer Modelle, das eingebaute Werkzeuge — darunter Websuche und Codeausführung — selektiv einsetzt, um eine Anfrage zu beantworten. Compound und Compound Mini laufen mit rund 450 Token pro Sekunde bei einem Kontextfenster von 131.072 Token und liefern agentisches Verhalten, ohne dass man die Werkzeugaufruf-Schleife selbst bauen müsste.

• Spracherkennung als eigenständige Produktlinie: Whisper ist hier keine Nebenfunktion. Es hat eine eigene Abrechnungseinheit (Audiostunde statt Token), eigene Ratenlimit-Dimensionen — Audiosekunden pro Stunde und pro Tag —, eine eigene Dateiobergrenze von 100 MB sowie dedizierte Endpunkte für Transkription und Übersetzung. Teams, die Besprechungsprotokolle, Gesprächsanalysen oder Untertitel-Pipelines bauen, können Groq für die Audiostufe nutzen, ohne es für Textgenerierung zu übernehmen.

• Servicestufen für unterschiedliche Zuverlässigkeitsansprüche: Ein einzelner service_tier-Parameter bestimmt, wie die Anfrage eingeplant wird. on_demand ist die Voreinstellung und liefert Groqs übliche Geschwindigkeit mit gelegentlicher Wartezeit zu Spitzenzeiten. flex tauscht Zuverlässigkeit gegen Spielraum: zehnfache Ratenlimits zum gleichen Preis, nach dem Best-Effort-Prinzip. performance ist die Unternehmensstufe für latenzkritische Produktion, auto wählt die jeweils beste verfügbare Stufe.

• Unternehmenssteuerung und dedizierte Kapazität: Die Plattform wird als drei aufeinander aufbauende Schichten verkauft. GroqMetal stellt dedizierte Bare-Metal-Infrastruktur bereit, GroqCore legt den erprobten Inferenz-Stack darüber, und GroqAssured ergänzt Governance auf Unternehmensniveau, Auditierbarkeit und Kontrolle — jede Schicht schließt die darunterliegenden ein. Diese Struktur erlaubt es, auf der geteilten API zu starten und später ohne Änderung der Integration auf dedizierte Kapazität zu wechseln.

• Globale Präsenz: Groq betreibt dreizehn Rechenzentren auf vier Kontinenten, von Liberty Lake und Dallas über Vantaa und Sydney bis London und Riad, mit Standorten in Kanada und Saudi-Arabien neben den US-amerikanischen und europäischen. Für latenzempfindliche Anwendungen zählt die physische Nähe zu den Nutzenden ebenso viel wie die Chipgeschwindigkeit.

Anwendungsfälle

1. Konversationsoberflächen in Echtzeit: Wenn Nutzende zusehen, wie Text erscheint, ist der Unterschied zwischen 50 und 500 Token pro Sekunde der Unterschied zwischen Warten und Lesen. Support-Assistenten, produktinterne Copiloten und Sprachagenten passen am deutlichsten, weil die wahrgenommene Reaktionsfähigkeit selbst das Merkmal ist. Ein verbreitetes Muster kombiniert ein schnelles kleines Modell auf Groq mit einem langsameren, stärkeren Modell für Eskalationen: neunzig Prozent der einfachen Anfragen in Gesprächsgeschwindigkeit bedienen und den Rest anderswohin leiten.

2. Agentenschleifen und Werkzeugaufruf-Ketten: Ein Agent, der plant, ein Werkzeug aufruft, das Ergebnis liest und erneut plant, multipliziert die Latenz mit der Zahl der Schritte. Eine fünfstufige Kette mit zwei Sekunden pro Schritt bedeutet zehn Sekunden Wartezeit; dieselbe Kette mit 300 Millisekunden pro Schritt wirkt unmittelbar. Hier verzinst sich schnelle Inferenz am dramatischsten, und deshalb wird Groq häufiger unter Coding-Agenten und Workflow-Automatisierungen eingesetzt als für einmalige Generierung.

3. Massentextverarbeitung und Klassifikation: Rückstände zusammenfassen, Support-Tickets verschlagworten, strukturierte Felder aus Zehntausenden Datensätzen extrahieren — solche Lasten interessieren sich für Durchsatz und Stückkosten, nicht für die Latenz einer Einzelanfrage. Die flex-Stufe existiert genau für diese Arbeitsform und bietet die zehnfachen Standardlimits bei identischem Preis pro Token, während die Batch-Verarbeitung Aufträge übernimmt, die ein verzögertes Zeitfenster vertragen.

4. Transkription und Audio-Pipelines: Whisper auf Groq verarbeitet Besprechungsaufzeichnungen, Podcast-Archive, Callcenter-Audio und Untertitelerstellung, abgerechnet pro Audiostunde statt pro Token. Da Transkription und Textgenerierung hinter derselben API und demselben Schlüssel liegen, benötigt eine Pipeline, die ein Gespräch transkribiert und anschließend zusammenfasst, nur eine Anbieterbeziehung.

5. Prototyping und kostenkontrollierte Erprobung: Die kostenlose Stufe verlangt keine Kreditkarte und gewährt Zugriff auf den Modellkatalog mit reduzierten Ratenlimits, weshalb Groq oft die erste Station für Hackathon-Projekte, Nebenprojekte und interne Demos ist. Das Hinterlegen einer Zahlungsmethode hebt die Limits, ohne ein Abonnement einzugehen, sodass die Kosten einer Evaluierung durch die tatsächliche Nutzung begrenzt bleiben.

6. Migration einer bestehenden OpenAI-Anwendung: Weil die API auf Ebene der Clientbibliothek kompatibel ist, nutzen Teams Groq häufig als Vergleichsmaßstab statt als Festlegung — dieselben Prompts gegen beide Anbieter laufen lassen und Latenz, Kosten und Ausgabequalität mit einer zweizeiligen Konfigurationsänderung vergleichen. Manche Lasten wandern dauerhaft, andere bleiben nach Aufgabentyp aufgeteilt.

So nutzt du Groq

1. Lege ein Konto in der Groq-Konsole an. Registriere dich, bestätige deine E-Mail-Adresse, und du landest in einer Organisation — das ist wichtig, weil Kontingente auf Organisationsebene und nicht pro Nutzer geführt werden.

2. Erzeuge einen API-Schlüssel. Lege in der Konsole einen Schlüssel an und speichere ihn in einer Umgebungsvariablen wie GROQ_API_KEY. Committe ihn niemals in die Versionsverwaltung; der Schlüssel autorisiert Ausgaben zulasten deiner Organisation.

3. Richte deinen Client auf Groq. Wenn du bereits das OpenAI-SDK nutzt, setze base_url auf https://api.groq.com/openai/v1 und übergib deinen Groq-Schlüssel als api_key. Beginnst du neu, installiere das offizielle Paket groq für Python oder groq-sdk für TypeScript. Die erste Anfrage ist ein gewöhnlicher Chat-Completion-Aufruf mit einer Modell-ID wie openai/gpt-oss-20b.

4. Wähle das passende Modell für die Aufgabe. Lies die Seite der unterstützten Modelle, bevor du dich festlegst: Sie führt für jedes Modell Geschwindigkeit in Token pro Sekunde, Preis pro Million Token, Ratenlimits, Kontextfenster und maximale Antwort-Token auf. Nimm für alles, was in den Betrieb geht, Produktionsmodelle — Preview-Modelle dienen der Evaluierung und können kurzfristig entfallen.

5. Lege eine Servicestufe fest und behandle Ratenlimits. Lass service_tier für das voreingestellte On-Demand-Verhalten leer oder setze es auf flex für durchsatzstarke, batchartige Arbeit, sobald du zahlender Kunde bist. Lies die Antwort-Header x-ratelimit-remaining-tokens und x-ratelimit-remaining-requests und implementiere Wiederholungen mit zufälliger Verzögerung bei HTTP 429 und, bei flex, HTTP 498.

6. Richte Abrechnungskontrollen ein, bevor du skalierst. Hinterlege eine Zahlungsmethode, um die Obergrenzen der kostenlosen Stufe aufzuheben, und setze anschließend in der Konsole ein Ausgabenlimit sowie Nutzungswarnungen. Beobachte den Verbrauch unter Dashboard → Usage in der ersten Produktionswoche, in der Schätzungen am wenigsten belastbar sind.

Tipps & Best Practices

• Wähle das Modell nach Aufgabe statt standardmäßig das größte. Auf Groq sind die kleineren Modelle deutlich schneller und günstiger, und bei Klassifikation, Extraktion, Routing und kurzer Generierung ist der Qualitätsunterschied für Nutzende oft unsichtbar. Vergleiche gpt-oss-20b und gpt-oss-120b mit deinen eigenen Prompts, bevor du annimmst, das größere zu brauchen — der Geschwindigkeitsunterschied liegt bei etwa Faktor zwei.

• Plane die Abkündigung von Modellen vom ersten Tag an ein. Groqs Katalog erneuert sich schnell. Lies die Modell-ID aus der Konfiguration, statt sie fest zu verdrahten, behalte die Deprecations-Seite im Blick und stelle sicher, dass die Kontoadresse jemanden erreicht, der auf Migrationshinweise reagiert. Eine verschwundene Modell-ID ist ein Ausfall, wenn dein Code nicht schnell neu ausgerollt werden kann.

• Versuche nicht, Spielraum über zusätzliche API-Schlüssel zu kaufen. Ratenlimits gelten auf Organisationsebene statt pro Nutzer oder pro Schlüssel; zusätzliche Schlüssel heben deine Obergrenze nicht an. Brauchst du mehr Durchsatz, hinterlege eine Zahlungsmethode, wechsle auf die flex-Stufe oder sprich mit dem Vertrieb über dedizierte Kapazität.

• Miss die Latenz bis zum ersten Token getrennt von der Gesamtlatenz. Groqs Vorteil zeigt sich in beidem, doch beide reagieren auf unterschiedliche Maßnahmen. Ein langsames erstes Token deutet meist auf Warteschlangen oder eine entfernte Region hin, eine langsame Vervollständigung meist darauf, dass mehr generiert wird als nötig. Begrenze max_tokens konsequent — eine kürzere Antwort ist auf jeder Hardware schneller.

• Nutze Prompt-Caching und halte System-Prompts stabil. Zwischengespeicherte Token zählen nicht auf deine Ratenlimits an; ein über Anfragen hinweg stabiler System-Prompt senkt also die Kosten und verschafft zugleich effektiven Durchsatz. Den System-Prompt bei jedem Aufruf umzuschreiben verschenkt diesen Vorteil.

• Implementiere Wiederholungen sauber, besonders bei flex. Die flex-Stufe ist ausdrücklich Best Effort: Kapazitätsfehler sind erwartbar, kommen schnell zurück und lassen sich gefahrlos wiederholen. Exponentielles Backoff mit Jitter ist dort keine Option, sondern Pflicht. Behandle HTTP 498 als „gleich noch einmal versuchen", nicht als Fehler, den Nutzende zu sehen bekommen.

• Aktiviere Zero Data Retention, bevor du Sensibles sendest. ZDR steht allen Kunden offen, ist aber nicht die Voreinstellung, und seine Aktivierung deaktiviert zugleich Funktionen, die Persistenz benötigen. Entscheide diesen Zielkonflikt vor der ersten Produktionsanfrage, nicht danach.

• Halte einen Ausweichpfad zu einem anderen Anbieter offen. Da die API in beide Richtungen OpenAI-kompatibel ist, kostet ein zweiter, hinter derselben Schnittstelle konfigurierter Anbieter wenig und schützt vor Kapazitätsereignissen, Abkündigungen und Preisänderungen.

Für wen ist Groq?

• Anwendungsentwickler mit latenzkritischen KI-Funktionen: Wer Nutzende hat, die dem Text beim Erscheinen zusehen — Chat-Oberflächen, Copiloten, Sprachprodukte —, profitiert am unmittelbarsten, weil Geschwindigkeit direkt in wahrgenommene Qualität umschlägt.

• Teams, die Agenten und mehrstufige Workflows bauen: Wenn sich Latenz über Schritte hinweg multipliziert, ist schnelle Inferenz mehr wert, als ein Benchmark auf Einzelanfragen vermuten lässt. Agenten-Frameworks, Coding-Assistenten und Automatisierungspipelines sind naheliegende Kandidaten.

• Ingenieure, die bereits auf das OpenAI-SDK gesetzt haben: Ist die Codebasis gegen OpenAIs Clientbibliotheken geschrieben, kostet eine Evaluierung von Groq eine Konfigurationsänderung statt eine Neuentwicklung. Diese niedrige Wechselhürde ist der wirksamste Akquisitionskanal der Plattform.

• Kostenbewusste Teams mit hohen Volumina einfacher Aufgaben: Klassifikation, Verschlagwortung, Extraktion und Zusammenfassung im großen Maßstab sind auf kleinen Modellen mit offenen Gewichten deutlich günstiger als auf proprietären Spitzenmodellen, und die Abrechnung pro Token macht die Rechnung überschaubar.

• Start-ups und Prototypenbauer: Eine kostenlose Stufe ohne Kreditkarte und nutzungsbasierte Abrechnung ohne Abonnement-Untergrenze machen die Plattform leicht ausprobierbar und leicht wieder aufgebbar — genau das, was ein Team in der Frühphase braucht.

• Unternehmen mit Anforderungen an Latenz, Governance oder Datenstandort: GroqAssured, die performance-Servicestufe, Zero Data Retention und dedizierte Bare-Metal-Kapazität existieren für Organisationen, die nicht auf einem geteilten Best-Effort-Endpunkt betrieben werden können.

• Teams, die Audio- und Transkriptionsprodukte bauen: Whisper-Preise pro Audiostunde, eigene Audio-Ratenlimits und Übersetzungsendpunkte machen Groq unabhängig davon als Transkriptionsanbieter tragfähig, ob man es für Text nutzt.

Plattformen

• REST-API: die primäre Schnittstelle unter https://api.groq.com/openai/v1, mit Chat-Completions, Responses-API, Audio-Transkription, -Übersetzung und -Synthese sowie Batch-, Datei- und Fine-Tuning-Endpunkten.
• Offizielle SDKs: hauseigene Python- und TypeScript-Bibliotheken sowie Kompatibilität mit OpenAIs eigenen Clientbibliotheken in beiden Sprachen.
• Web-Konsole: console.groq.com bietet Kontoverwaltung, API-Schlüssel, Projekte, Modellberechtigungen, Nutzungs-Dashboards, Ausgabenlimits und Datenkontrollen samt vollständiger Dokumentation und API-Referenz.
• Integrationen mit Coding-Werkzeugen: Die Dokumentation enthält Einrichtungsanleitungen für agentische Coding-Tools, und Groq stellt Remote-Werkzeuge sowie MCP-Konnektoren für Agenten-Frameworks bereit.
• Dedizierte und lokale Kapazität: GroqMetal bietet dedizierte Bare-Metal-Infrastruktur für Organisationen, die Isolation statt geteilter Endpunkte brauchen.
• Keine Consumer-App fürs Smartphone: Groq ist Entwicklerinfrastruktur; es gibt weder einen iOS- noch einen Android-Client, weil das Produkt von deiner Anwendung konsumiert wird und nicht direkt von Endnutzenden.

Preise & Pläne

Kostenlose Stufe. Groq bietet eine kostenlose Entwicklerstufe ohne Kreditkarte, die Zugriff auf den Modellkatalog mit reduzierten Ratenlimits gewährt. Sie ist für Prototyping, Nebenprojekte, interne Demos und Funktionen mit geringem Volumen wirklich brauchbar, und die Grenze, an die man zuerst stößt, ist meist die Zahl der Anfragen pro Tag und nicht die Token. Strukturell entscheidend: Da Limits pro Organisation geführt werden, lässt sich ein kostenloses Konto nicht durch zusätzliche Schlüssel erweitern.

Nutzungsbasierte Abrechnung. Für den API-Zugang fällt keine Abonnementgebühr an. Textmodelle werden pro Million Token mit getrennten Sätzen für Ein- und Ausgabe abgerechnet — etwa gpt-oss-120b mit 0,15 $ Eingabe und 0,60 $ Ausgabe pro Million Token und gpt-oss-20b mit 0,075 $ und 0,30 $ —, während Spracherkennung pro Audiostunde abgerechnet wird, mit whisper-large-v3 zu 0,111 $ pro Stunde und der Turbo-Variante zu 0,04 $. Eine hinterlegte Zahlungsmethode hebt die Ratenlimits erheblich und schaltet die flex- und Batch-Stufen frei, die höheren Durchsatz zum gleichen Token-Preis bieten. Unabhängige Messungen von Artificial Analysis verorten die gemischte Spanne über den Katalog hinweg je nach Modell zwischen etwa 0,05 $ und 0,84 $ pro Million Token, also rund das Sechzehnfache Unterschied.

Abrechnungsmechanik. Belastungen sind zunächst progressiv statt rein monatlich: Das erstmalige Überschreiten der kumulierten Schwellen von 1 $, 10 $, 100 $, 500 $ und 1.000 $ löst sofortige Abbuchungen aus, bevor das Konto in die monatliche Rechnungsstellung übergeht; für Kundinnen und Kunden in Indien gilt ein abweichender Rhythmus. Rechnungen unter 0,50 $ werden nicht ausgestellt. Ausgabenlimits und Budgetwarnungen lassen sich in der Konsole konfigurieren, die Nutzung ist nahezu in Echtzeit einsehbar.

Unternehmen. Verträge mit Ausgabenzusage, die performance-Servicestufe, dedizierte GroqMetal-Kapazität und die GroqAssured-Governance-Schicht werden über den Vertrieb und nicht per Selbstbedienung verkauft. Unternehmensverträge bringen auch jenseits der Kapazität einen praktischen Vorteil: Kunden mit Ausgabenzusage sind von den Modellabkündigungen ausgenommen, die für die kostenlose und die Entwicklerstufe gelten. Exakte Konditionen und aktuelle Sätze sollten in der offiziellen Dokumentation und der Konsole geprüft werden, da sich Katalog und Preise häufig ändern.

Alternativen

• Together AI: ein eng vergleichbarer Anbieter für Inferenz offener Modelle mit breiterem Katalog inklusive Bildmodellen und Fine-Tuning, der eher über Modellvielfalt als über rohe Latenz konkurriert.
• Fireworks AI: eine weitere Plattform für Inferenz offener Gewichte mit Fokus auf Produktionsbetrieb und die Bereitstellung feinabgestimmter Modelle, oft gewählt von Teams, die eigene Adapter ausliefern wollen.
• Cerebras: der andere große Herausforderer, der mit eigenem Silizium um Inferenzgeschwindigkeit konkurriert und sich in Latenz-Benchmarks sehr direkt gegen Groq positioniert.
• OpenRouter: eher Aggregator als Betreiber — es leitet hinter einer API an viele Anbieter weiter, darunter proprietäre Spitzenmodelle, und ist nützlich, wenn Breite und Ausfallsicherung wichtiger sind als das schnellste einzelne Backend.
• Die APIs von OpenAI und Anthropic: der Vergleichspunkt für Leistungsfähigkeit statt Geschwindigkeit. Braucht die Arbeitslast das stärkste verfügbare Reasoning und lässt sich die Latenz verkraften, bleibt ein proprietäres Spitzenmodell die Referenz; Groqs Katalog ist offen und endet bei geringerer Leistungsfähigkeit.
• Selbst gehostetes vLLM oder TensorRT-LLM: Offene Modelle auf eigenen GPUs zu betreiben bietet maximale Kontrolle und Datenhoheit, verlangt aber den Eigenbetrieb der Infrastruktur und erreicht Groqs Latenz ohne erheblichen Engineering-Aufwand nur selten.

Einschränkungen & Hinweise

• Der Modellkatalog wird aggressiv erneuert. Das ist das praktisch relevanteste Risiko. Groqs eigene Deprecations-Seite dokumentiert einen stetigen Strom an Abkündigungen: llama-3.1-8b-instant und llama-3.3-70b-versatile wurden beide am 16. August 2026 abgeschaltet, qwen3-32b und llama-4-scout einen Monat zuvor, davor Kimi K2 und Llama 4 Maverick. Abkündigungen betreffen die kostenlose und die Entwicklerstufe, während Unternehmenskunden mit Ausgabenzusage ausgenommen sind — die am wenigsten geschützten Nutzenden tragen also die meiste Erneuerungslast. Preview-Modelle tragen den ausdrücklichen Hinweis, dass sie kurzfristig eingestellt werden können.

• Die OpenAI-Kompatibilität ist nah, aber nicht vollständig. Mehrere Parameter, die in OpenAI-Code vorkommen, schlagen schlicht fehl: logprobs, logit_bias, top_logprobs und messages[].name liefern allesamt einen 400er-Fehler, und n muss gleich 1 sein. Audio-Transkription gibt weder vtt noch srt aus, und eine Temperatur von 0 wird stillschweigend auf 1e-8 umgeschrieben. Im Regelfall ist die Migration leicht und kann dennoch an den Rändern brechen: testen statt annehmen.

• Die Leistungsfähigkeit ist durch den Katalog offener Gewichte gedeckelt. Die Geschwindigkeit ist real, aber es ist Geschwindigkeit auf mittelgroßen offenen Modellen. In den unabhängigen Messungen von Artificial Analysis gehört der höchste Wert im Intelligence Index unter den elf erfassten Groq-Modellen Qwen3.6 27B mit 38 — deutlich unter proprietären Spitzenmodellen. Für das schwierigste Reasoning, langwieriges Coding oder nuanciertes Schreiben kann ein langsameres Spitzenmodell weiterhin bessere Ergebnisse liefern.

• Ratenlimits gelten organisationsweit und mehrdimensional. Anfragen pro Minute, Anfragen pro Tag, Token pro Minute, Token pro Tag und Audiosekunden gelten gleichzeitig, und gedrosselt wird an der Grenze, die zuerst greift: Ein Muster aus vielen winzigen Anfragen kann das Minutenkontingent erschöpfen, während das Token-Budget kaum angetastet wird. Für manche Organisationen kommen getrennte Limits für Eingabe- und Ausgabetoken hinzu.

• Die flex-Stufe ist ausdrücklich Best Effort. Sie bietet die zehnfachen Ratenlimits zum gleichen Preis, doch Anfragen scheitern mit HTTP 498 und dem Fehler capacity_exceeded, wenn keine Kapazität verfügbar ist. Das ist bewusstes Design und kein Mangel — und es macht flex ohne Rückfalloption für nutzerseitige Pfade ungeeignet.

• Der Datenstandort ist auf die USA festgelegt. Zwar werden Inferenzanfragen standardmäßig nicht gespeichert und Zero Data Retention steht allen Kunden offen, doch alle tatsächlich gespeicherten Daten liegen in Google-Cloud-Platform-Buckets in den Vereinigten Staaten, wobei Standardvertragsklauseln die grenzüberschreitende Übermittlung abdecken. Organisationen mit strengen EU- oder APAC-Anforderungen an den Datenstandort sollten dies gegen ihre Compliance-Pflichten prüfen und beachten, dass die Aktivierung von ZDR persistenzabhängige Funktionen wie Batch-Jobs und Fine-Tuning deaktiviert.

• Die Unternehmenslage war zuletzt bewegt. Im Dezember 2025 berichtete DataCenterDynamics, dass Gründer Jonathan Ross und Präsident Sunny Madra im Rahmen einer nicht-exklusiven Technologielizenzvereinbarung zu NVIDIA wechselten, während Groq als eigenständiges Unternehmen unter Simon Edwards weiterlief und GroqCloud ohne Unterbrechung in Betrieb blieb. Die Berichterstattung zum Wert des Geschäfts war uneinheitlich: Die vielfach zitierte Zahl von 20 Milliarden Dollar wurde nicht unabhängig verifiziert, und die Bedingungen der nicht-exklusiven Lizenz wurden nie offengelegt. Die Series A vom August 2026 bewertete das Unternehmen mit 3,5 Milliarden Dollar, etwa der Hälfte der 6,9 Milliarden aus der Finanzierungsrunde im September 2025. Die Dienstkontinuität blieb durchgehend gewahrt, doch Teams, die mehrjährige Infrastrukturzusagen erwägen, sollten Eigentümer- und Führungswechsel neben der Technik gewichten.

• Unabhängige Nutzerbewertungen sind dünn. Groq erhält viel Presseberichterstattung, aber sehr wenig strukturiertes Feedback auf Bewertungsplattformen — der G2-Eintrag weist eine vernachlässigbare Zahl an Rezensionen auf, und Drittanbieter-Verzeichnisse ordnen Groq als KI-API, großes Sprachmodell und Open-Source-KI-Modell ein statt als Consumer-Chatbot, ebenfalls ohne nennenswertes Rezensionsvolumen. Die stärkste verfügbare unabhängige Evidenz sind Benchmark-Daten und keine Nutzeraussagen; Aussagen über Supportqualität oder langfristige Zuverlässigkeit sind daher als unbestätigt zu behandeln.

• Nicht mit Grok zu verwechseln. Groq (groq.com) ist Inferenzinfrastruktur von Groq LLC. Grok (grok.com) ist ein Consumer-Chat-Assistent von Elon Musks xAI. Die Namen unterscheiden sich nur in der Position eines Buchstabens, die Produkte haben nichts gemeinsam: andere Unternehmen, andere Zielgruppen, andere Geschäftsmodelle.

FAQ

Q1. Ist Groq kostenlos nutzbar?

Ja, es gibt eine kostenlose Entwicklerstufe ohne Kreditkarte, die Zugriff auf den Modellkatalog mit reduzierten Ratenlimits gewährt und für Prototyping und Projekte mit geringem Volumen ausreicht. Eine hinterlegte Zahlungsmethode hebt diese Limits erheblich und schaltet die flex- und Batch-Stufen frei; es gibt keine Abonnementgebühr, nur nutzungsbasierte Kosten pro Token.

Q2. Worin unterscheidet sich Groq von Grok?

Es sind zusammenhanglose Produkte, die wegen der beinahe identischen Schreibweise häufig verwechselt werden. Groq unter groq.com ist eine KI-Inferenz-Cloud auf LPU-Hardware, die Entwicklern als API verkauft wird. Grok unter grok.com ist ein Consumer-Chat-Assistent von xAI. Andere Unternehmen, andere Produkte, andere Preismodelle.

Q3. Kann ich meinen bestehenden OpenAI-Code auf Groq migrieren?

In den meisten Fällen ja, mit zwei Änderungen: Basis-URL auf https://api.groq.com/openai/v1 setzen und einen Groq-API-Schlüssel übergeben. Einige Parameter werden nicht unterstützt und geben einen 400er-Fehler zurück — logprobs, logit_bias, top_logprobs und messages[].name —, und n muss 1 sein. Teste daher deine konkreten Aufrufmuster, statt einen glatten Austausch vorauszusetzen.

Q4. Welche Modelle hostet Groq?

Groq liefert Modelle mit offenen Gewichten statt proprietärer Spitzenmodelle. Der Produktionskatalog dreht sich um openai/gpt-oss-120b und openai/gpt-oss-20b für Text sowie whisper-large-v3 und dessen Turbo-Variante für Sprache, mit Preview-Plätzen für Modelle wie Qwen3.6 27B, Sicherheitsklassifikatoren und Orpheus-Stimmen für Sprachsynthese. Die aktuelle Liste ist jederzeit über die Modelldokumentation und den Endpunkt /openai/v1/models abrufbar.

Q5. Wie schnell ist Groq in der Praxis?

Unabhängige Messungen von Artificial Analysis setzen das schnellste Modell auf Groq, gpt-oss-20b bei hohem Reasoning-Aufwand, auf median 949 Token pro Sekunde, mit einer minimalen Zeit bis zum ersten Token von rund 0,77 Sekunden. Groqs eigene Hardwareangaben nennen bis zu 1.000 Token pro Sekunde und Nutzer. Der tatsächliche Durchsatz variiert mit Modell, Promptlänge, Servicestufe und Last.

Q6. Was geschieht mit meinen Daten?

Groq gibt an, Kundendaten bei Inferenzanfragen standardmäßig nicht zu speichern. Gespeichert wird nur für Funktionen, die Persistenz erfordern, etwa Batch-Jobs und Fine-Tuning, oder vorübergehend zur Fehlersuche bei Zuverlässigkeitsproblemen und zur Missbrauchsuntersuchung — dann für bis zu 30 Tage. Alle Kunden können Zero Data Retention aktivieren, wodurch allerdings die persistenzabhängigen Funktionen deaktiviert werden.

Q7. Wo werden meine Daten verarbeitet und gespeichert?

Die Inferenz läuft in dreizehn Rechenzentren auf vier Kontinenten, doch alle gespeicherten Kundendaten liegen in Google-Cloud-Platform-Buckets in den Vereinigten Staaten, wobei Übermittlungen gegebenenfalls durch Standardvertragsklauseln abgedeckt sind. Organisationen mit strengen regionalen Anforderungen sollten dies an den eigenen Vorgaben prüfen.

Q8. Kann ich meine Ratenlimits durch mehr API-Schlüssel erhöhen?

Nein. Ratenlimits gelten auf Organisationsebene, zusätzliche Schlüssel teilen sich also dasselbe Kontingent. Für mehr Spielraum hinterlegst du eine Zahlungsmethode, um auf die Limits der Entwicklerstufe zu wechseln, nutzt die flex-Stufe für durchsatzstarke Arbeit oder vereinbarst dedizierte Kapazität über den Vertrieb.

Q9. Wie funktioniert die Abrechnung genau?

Abgerechnet wird pro Token bei Textmodellen und pro Audiostunde bei der Transkription, ohne Abonnementanteil. Anfangs erfolgt die Belastung progressiv: Das Konto wird belastet, wenn die kumulierte Nutzung 1 $, 10 $, 100 $, 500 $ und 1.000 $ überschreitet, danach wird rein monatlich abgerechnet. Rechnungen unter 0,50 $ werden nicht ausgestellt, und Ausgabenlimits mit Budgetwarnungen sind in der Konsole konfigurierbar.

Q10. Ist Groq stabil genug, um darauf ein Geschäft aufzubauen?

GroqCloud lief durch erhebliche Unternehmensveränderungen hindurch ohne Unterbrechung — darunter die NVIDIA-Lizenzvereinbarung, den Weggang des Gründers und einen Führungswechsel —, und das Unternehmen sammelte im August 2026 eine Series A über 350 Millionen Dollar bei einer Bewertung von 3,5 Milliarden ein. Das praktische Risiko liegt weniger im Verschwinden des Unternehmens als im Modellwechsel: Baue mit konfigurierbaren Modell-IDs, verfolge Abkündigungshinweise und halte hinter derselben Schnittstelle einen zweiten Anbieter bereit.