Die Startup-Firma Groq, die Chips entwickelt, um generative KI-Modelle schneller als herkömmliche Prozessoren auszuführen, gab am Montag bekannt, dass sie in einer neuen Finanzierungsrunde unter der Führung von Blackrock 640 Millionen US-Dollar eingenommen hat. Auch Neuberger Berman, Type One Ventures, Cisco, KDDI und der Samsung Catalyst Fund beteiligten sich.
Die Geldspritze, die Grog's insgesamt auf über 1 Milliarde US-Dollar erhöhte und das Unternehmen mit 2,8 Milliarden US-Dollar bewertet, ist ein großer Erfolg für Groq, das angeblich ursprünglich 300 Millionen US-Dollar bei einer leicht niedrigeren (2,5 Milliarden US-Dollar) Bewertung sammeln wollte. Sie übertrifft sogar die bisherige Bewertung von Groq (~1 Milliarde US-Dollar) im April 2021, als das Unternehmen 300 Millionen US-Dollar in einer Runde unter der Leitung von Tiger Global Management und D1 Capital Partners sammelte.
Der leitende AI-Wissenschaftler von Meta, Yann LeCun, wird Groq als technischer Berater zur Seite stehen, und Stuart Pann, ehemaliger Leiter des Fertigungsbetriebs von Intel und ehemaliger CIO von HP, wird dem Startup als Chief Operating Officer beitreten, gab Groq heute bekannt. LeCuns Ernennung ist etwas unerwartet, angesichts der Investitionen von Meta in eigene AI-Chips - aber sie gibt Groq zweifellos einen starken Verbündeten in einem knallharten Umfeld.
Groq, das 2016 aus der Stealth-Phase hervorging, entwickelt das sogenannte LPU (Language Processing Unit) Inference Engine. Das Unternehmen behauptet, dass seine LPUs vorhandene generative KI-Modelle ähnlich der Architektur von OpenAI's ChatGPT und GPT-4o mit 10-facher Geschwindigkeit und einem Zehntel der Energie ausführen können.
Jonathan Ross, CEO von Groq, ist bekannt dafür, am Tensor Processing Unit (TPU) mitgearbeitet zu haben, einem speziellen KI-Beschleunigerchip von Google, der zur Schulung und Ausführung von Modellen verwendet wird. Ross schloss sich vor knapp einem Jahrzehnt mit Douglas Wightman, einem Unternehmer und ehemaligen Ingenieur im X-Moonshot-Labor des Mutterunternehmens von Google, Alphabet, zusammen, um Groq zu gründen.
Groq bietet eine von LPU angetriebene Entwicklungsplattform namens GroqCloud, die "offene" Modelle wie Metas Llama 3.1-Familie, Googles Gemma, OpenAIs Whisper und Mistrals Mixtral sowie eine API, die es Kunden ermöglicht, seine Chips in Cloud-Instanzen zu verwenden, umfasst. (Groq betreibt auch einen Spielplatz für KI-gesteuerte Chatbots, GroqChat, den es Ende letzten Jahres gestartet hat.) Im Juli hatte GroqCloud über 356.000 Entwickler; Groq gibt an, dass ein Teil der Einnahmen aus der Runde zur Erhöhung der Kapazität und zur Hinzufügung neuer Modelle und Funktionen verwendet werden wird.
„Viele dieser Entwickler sind in großen Unternehmen tätig“, sagte Stuart Pann, COO von Groq, gegenüber TechCrunch. „Unseren Schätzungen zufolge sind über 75 % der Fortune 100 vertreten.“
Da der Boom bei generativer KI anhält, sieht sich Groq zunehmendem Wettbewerb sowohl von konkurrierenden AI-Chip-Startups als auch von Nvidia, dem mächtigen Platzhirsch im Bereich der AI-Hardware, gegenüber.
Nvidia kontrolliert schätzungsweise 70 % bis 95 % des Marktes für KI-Chips, die zur Schulung und Bereitstellung generativer KI-Modelle verwendet werden, und das Unternehmen ergreift aggressive Maßnahmen, um seine Dominanz zu wahren.
Nvidia hat sich verpflichtet, jedes Jahr eine neue KI-Chip-Architektur zu veröffentlichen, anstatt wie historisch üblich alle zwei Jahre. Zudem soll angeblich eine neue Geschäftseinheit gegründet werden, die sich auf die Entwicklung maßgeschneiderter Chips für Cloud-Computing-Unternehmen und andere, einschließlich KI-Hardware, konzentriert.
Abgesehen von Nvidia konkurriert Groq mit Amazon, Google und Microsoft, die alle - oder bald - kundenspezifische Chips für KI-Workloads in der Cloud anbieten. Amazon hat seine Trainium, Inferentia und Graviton Prozessoren, die über AWS verfügbar sind; Google-Cloud-Kunden können die bereits erwähnten TPUs und zukünftig Googles Axion-Chip nutzen; und Microsoft hat kürzlich Azure-Instanzen in der Vorschau für seinen Cobalt 100 CPU eingeführt, mit Maia 100 AI Accelerator-Instanzen, die in den nächsten Monaten folgen werden.
Groq könnte auch Arm, Intel, AMD und eine wachsende Zahl von Startup-Konkurrenten in Betracht ziehen, in einem KI-Chip-Markt, der nach Meinung einiger Analysten in den nächsten fünf Jahren ein Jahresumsatzvolumen von 400 Milliarden US-Dollar erreichen könnte. Insbesondere Arm und AMD verfügen dank der steigenden Investitionen der Cloud-Anbieter zur Deckung des Kapazitätsbedarfs für generative KI über blühende KI-Chip-Geschäfte.
D-Matrix hat Ende letzten Jahres 110 Millionen US-Dollar für die Kommerzialisierung einer Inference-Compute-Plattform aufgebracht. Im Juni kam Etched aus der Stealth-Phase mit 120 Millionen US-Dollar für einen speziell für die Beschleunigung der dominierenden generativen KI-Modellarchitektur von heute, dem Transformer, entwickelten Prozessor. SoftBanks Masayoshi Son soll Berichten zufolge 100 Milliarden US-Dollar für ein Chip-Venture zur Konkurrenz mit Nvidia aufbringen. Und OpenAI soll Berichten zufolge mit Investitionsfirmen Gespräche führen, um eine Initiative zur Herstellung von KI-Chips zu starten.
Um sich sein eigenes Terrain zu sichern, investiert Groq intensiv in die Zusammenarbeit mit Unternehmen und Regierungen.
Im März hat Groq Definitive Intelligence, ein in Palo Alto ansässiges Unternehmen, das eine Reihe von auf Unternehmen ausgerichteten KI-Lösungen anbietet, übernommen, um eine neue Geschäftseinheit namens Groq Systems zu gründen. Zu den Aufgaben von Groq Systems gehört die Betreuung von Organisationen, darunter US-Bundesbehörden und souveräne Nationen, die Groqs Chips in bestehenden Rechenzentren hinzufügen oder neue Rechenzentren mit Groq-Prozessoren aufbauen möchten.
Jüngst hat Groq eine Partnerschaft mit Carahsoft, einem IT-Dienstleistungsunternehmen für Regierungen, geschlossen, um seine Lösungen über die Vertriebspartner von Carahsoft an Kunden im öffentlichen Sektor zu verkaufen, und das Startup hat eine Absichtserklärung, Zehntausende seiner LPUs im norwegischen Rechenzentrum des europäischen Unternehmens Earth Wind & Power zu installieren.
Groq arbeitet auch mit der saudi-arabischen Unternehmensberatungsfirma Aramco Digital zusammen, um LPUs in zukünftigen Rechenzentren im Nahen Osten zu installieren.
Während es Kundenbeziehungen aufbaut, marschiert Groq aus Mountain View, Kalifornien, auf die nächste Generation seiner Chips zu. Im vergangenen August kündigte das Unternehmen an, mit dem Halbleiterunternehmen Global Foundries zusammenzuarbeiten, um 4-Nanometer-LPUs herzustellen, die voraussichtlich Leistungs- und Effizienzgewinne gegenüber Groqs Chips der ersten Generation mit 13 Nanometern bringen werden.
Groq plant, bis Ende Q1 2025 über 108.000 LPUs einzusetzen.
