半導體在摩爾定律的指導下發(fā)展了數(shù)十年，摩爾定律描述了數(shù)字技術以及近年來深度學習等先進人工智能形式的巨大發(fā)展背后的進步。

摩爾定律實際上是一種觀察結果，由英特爾聯(lián)合創(chuàng)始人戈登·摩爾 (Gordon Moore) 在 1965 年提出，該定律認為芯片上的晶體管數(shù)量大約每年都會增加一倍。 1975年，他將公式調(diào)整為每兩年一次。 幾十年來，這一點一直成立，有助于解釋當今世界的很多問題，包括為什么智能手機和其他數(shù)字設備的性價比顯著提高，尤其是與許多其他種類的商品相比。 晶體管的售價一度高達每個 150 美元。 2019 年，典型的英特爾微處理器包含 50 億個，每個成本為 0.0000001 美元。

但有人說，由于晶體管尺寸現(xiàn)在如此之小，摩爾定律所描述的穩(wěn)定、可預測的進步已經(jīng)結束，因為某些努力已經(jīng)接近經(jīng)濟和物理學的極限。 與深度學習和其他形式人工智能的進步密切相關的其他類型的半導體創(chuàng)新正在進行中。 但是，現(xiàn)在已經(jīng)不可能以如此清晰、容易被公眾掌握的方式來描述芯片創(chuàng)新的下一階段來預測未來。

半導體巨頭英偉達 (Nvidia) 的首席科學家比爾·達利 (Bill Dally) 表示：“那些日子已經(jīng)一去不復返了，對吧？”該公司設計了人工智能最需要的芯片。英偉達以圖形處理單元而聞名，圖形處理單元是一種采用 許多核心同時進行計算。人工智能對于 GPU 的需求非常大，尤其是具有許多密集層的神經(jīng)網(wǎng)絡。

雖然摩爾定律所描述的進步不再像以前那樣迅速發(fā)展，但英偉達、谷歌 DeepMind 和其他公司的研究人員正在一系列領域取得進展。

“深度學習是由硬件驅(qū)動的。 我們感到繼續(xù)下去的巨大壓力，”斯坦福大學計算機科學系前系主任達利說，他仍然是該校的兼職教授。

“事情變得越來越困難，但我們?nèi)匀挥泻玫南敕ā哪旰?，我們已?jīng)非常清楚性能的來源。 我們做了很多探索性的努力來回答這個問題：在那之后性能將來自哪里，”Dally 說，他領導著一個由 300 名擁有博士學位的研究人員組成的團隊。

Dally 表示，Nvidia 的先進數(shù)據(jù)中心芯片 Hopper 架構于 2022 年推出，并設法將更多晶體管封裝到芯片上，但該芯片的成本比之前的版本更高，而且單個晶體管的成本也更高。 “較小的晶體管并沒有真正幫助我們太多，”達利補充道，“隨著我們從一代過渡到下一代，我們不再降低晶體管的成本?！?/p>

盡管如此，考慮到摩爾定律之外存在的其他類型的創(chuàng)新，Hopper 的性價比還是有所提高。 達利表示，他相信至少在未來四年內(nèi)，實現(xiàn)更多創(chuàng)新的道路是明確的，這意味著與人工智能不斷增長的力量密切相關的硬件改進也應該繼續(xù)下去，這將對醫(yī)療等眾多行業(yè)產(chǎn)生影響。 科學和醫(yī)療保健到金融和電子商務。

這項工作利用了稀疏性或?qū)ⅰ靶　睌?shù)字舍入為零等概念，從而減少了芯片必須執(zhí)行的乘法量。

八年前，現(xiàn)在麻省理工學院的 Dally 和 Song Han 以及其他人在 NeurIPS 會議上發(fā)表了一篇論文，該論文表明，對于很多神經(jīng)網(wǎng)絡，他們可以將 90% 的數(shù)字歸零，并且不會改變神經(jīng)網(wǎng)絡的準確性。

“我們?nèi)栽谘芯咳绾卫酶玫挠布砝眠@一點，”達利說。

另一個創(chuàng)新領域涉及數(shù)字表示，其中數(shù)字以各種方式表示，例如一串 1 和 0。 Dally 表示，如果可以用更短的字符串（例如 8 個而不是 16 或 32 個單位或位）來完成此操作，那么乘法等過程中芯片所需的工作量就會相應減少。 這提高了芯片的整體功率和效率。

英偉達和谷歌一直致力于為人工智能定制芯片。 這使得他們能夠比摩爾定律更快地擴展人工智能芯片性能，盡管在芯片上放置更多晶體管變得越來越困難。 2020 年，《華爾街日報》專欄作家克里斯托弗·米姆斯 (Christopher Mims) 以 Nvidia 聯(lián)合創(chuàng)始人兼首席執(zhí)行官黃仁勛 (Jensen Huang) 的名字命名了黃氏定律 (Huang’s Law)，該定律指出，為人工智能提供動力的硅芯片的性能每兩年就會增加一倍以上。

然而，存在一個根本性的差異：人工智能算法每隔幾個月就會進化一次，而設計芯片則需要兩到三年的時間。

通過采用先進的人工智能，可以顯著減少芯片設計的時間和成本。 一些研究人員認為人工智能可以將設計過程從幾年縮短到幾天。 在軟件方面，更好的資源調(diào)度和更優(yōu)化的代碼可以提高現(xiàn)有芯片設計的性能。

數(shù)據(jù)中心和芯片研究總監(jiān) Olivier Temam 表示，緩慢而昂貴的芯片設計還有一個更微妙的后果：它需要人工智能研究人員為現(xiàn)有芯片創(chuàng)建算法，這反過來可能會限制他們設想的人工智能算法的范圍。 ，谷歌 DeepMind。 如果研究人員能夠更容易、更便宜地制造適應新穎人工智能算法的芯片，可能會在該領域釋放更多創(chuàng)造力。

Temam 表示：“人工智能驅(qū)動的芯片設計的最新進展與持續(xù)的探索相結合，表明我們有一天可能能夠?qū)崿F(xiàn)芯片設計的自動化，最終帶來生產(chǎn)力的大幅提升，從而改變整個行業(yè)。”