人工智能推理芯片開發(fā)商 Groq Inc. 今天宣布，已籌集 7.5 億美元的新資金。

Databricks Inc. 的支持者 Disruptive 領(lǐng)投了本輪融資。思科系統(tǒng)公司、三星電子公司、德國電信資本合作伙伴和幾家投資公司也加入了該論壇。Groq 目前的估值為 69億美元，高于去年的 28 億美元。

Groq 提供了一個稱為語言處理單元或 LPU 的處理器。該公司聲稱，該芯片可以運行一些推理工作負載，能效比顯卡高出 10 倍。Groq 表示，LPU 的效率是競爭對手芯片中未包含的多項優(yōu)化的成果。

協(xié)調(diào)運行 AI 模型所涉及的不同處理器組件可能會消耗大量計算能力。根據(jù) Groq 的說法，其 LPU 減少了開銷，從而為推理留下了更多的處理能力。該公司表示，其芯片可以運行具有 1 萬億個參數(shù)的模型。

Groq 的 LPU 使用自定義編譯器減少了與電路協(xié)調(diào)任務(wù)相關(guān)的開銷。編譯器會在推理工作負載啟動之前計算哪個電路應(yīng)執(zhí)行哪些任務(wù)，這樣就無需在運行時運行必要的計算。

Groq 的編譯器還以其他方式優(yōu)化 AI 模型。許多芯片使用一種稱為量化的技術(shù)來壓縮神經(jīng)網(wǎng)絡(luò)，這會以犧牲一些輸出質(zhì)量為代價來減少內(nèi)存占用。Groq 表示，其編譯器使用了一種名為 RealScale 的改進版本的技術(shù)。該技術(shù)僅壓縮神經(jīng)網(wǎng)絡(luò)中在量化時輸出質(zhì)量不會顯著下降的部分。

LPU 的另一個賣點是它具有所謂的確定性架構(gòu)。因此，可以通過單個時鐘周期的粒度來預(yù)測每個給定的計算作將花費多少時間。根據(jù) Groq 的說法，LPU 的可預(yù)測性有助于實現(xiàn)性能優(yōu)化，否則這些優(yōu)化將難以實施。

該公司將其芯片作為名為 GroqRack 的設(shè)備的一部分進行銷售。該系統(tǒng)包括九臺服務(wù)器，每臺服務(wù)器都擁有多個 LPU。Grok 表示，與競爭設(shè)備相比，GroqRack 需要更少的外部網(wǎng)絡(luò)硬件，從而降低了成本，并且無需進行重大設(shè)施升級即可安裝在數(shù)據(jù)中心。

該公司還通過云平臺提供對其芯片的訪問。GroqCloud，正如該平臺所稱的那樣，托管 LPU 驅(qū)動的 AI 模型，開發(fā)人員可以通過應(yīng)用程序編程接口將其集成到他們的軟件中。Groq 將利用其新資金來擴展為 GroqCloud 提供支持的數(shù)據(jù)中心網(wǎng)絡(luò)。

這項投資是在有報道稱一家推理芯片的競爭對手提供商正在尋求自己的新一輪融資之際進行的。據(jù)報道，總部位于加利福尼亞州圣克拉拉的 Rivos 正在 洽談以 20 億美元的估值籌集高達 5000 萬美元的資金。該公司正在開發(fā)一種將顯卡與中央處理器內(nèi)核相結(jié)合的片上系統(tǒng)。