在最新一期的《Dwarkesh Podcast》訪談中，OpenAI的創(chuàng)始元老、前特斯拉AI團(tuán)隊(duì)負(fù)責(zé)人、深度學(xué)習(xí)的大佬Andrej Karpathy與主持人Dwarkesh Patel深入探討了AGI、智能體與AI未來十年的走向等AI圈核心問題的看法。Andrej Karpathy預(yù)測未來10年的AI架構(gòu)仍然可能是類似Transformer的巨大神經(jīng)網(wǎng)絡(luò) —— 認(rèn)為當(dāng)前的智能體仍處早期階段，強(qiáng)化學(xué)習(xí)雖不完美，卻是目前的最優(yōu)解。

Andrej Karpathy認(rèn)為真正學(xué)習(xí)知識，要從你從頭開始構(gòu)建一些東西時開始。因?yàn)檫@時你才會被迫面對你所不理解的東西。他相信費(fèi)曼的一句名言：“如果我不能構(gòu)建它，我就不理解它?！彼?，他給出的最佳學(xué)習(xí)方式是：“不要寫博客文章，不要做幻燈片，去構(gòu)建代碼，并讓它工作，這是唯一的學(xué)習(xí)途徑。否則你就會缺少知識?！?/span>

AGI還有十年之遙

對于業(yè)內(nèi)普遍鼓吹的「智能體元年」，Andrej Karpathy認(rèn)為行業(yè)里存在一些過度預(yù)測，“雖然我每天都在用一些非常出色的智能體，比如Claude和Codex，但它們?nèi)允且恍┓浅３跗诘闹悄荏w，還有大量工作要做，這也是我們在未來十年內(nèi)要持續(xù)研究的東西?！?/p>

Andrej Karpathy列舉了當(dāng)前智能體的主要問題：智能不足、多模態(tài)能力弱、無法自主操作電腦等，這主要是由于智能體在認(rèn)知上存在缺陷，也沒有持續(xù)學(xué)習(xí)能力。而這些基礎(chǔ)性問題的解決，大約需要十年。

親自經(jīng)歷了AI行業(yè)的幾次重要變革，Andrej Karpathy從中看到一些規(guī)律性，這是基于他的個人直覺以及在AI行業(yè)大約15年的經(jīng)驗(yàn)所做出的判斷。值得注意的是，他還預(yù)測未來十年AI的核心架構(gòu)仍可能基于Transformer，但形態(tài)會有所演化，“可以打賭的是，根據(jù)平移等變性，十年后我們?nèi)匀粫们跋蚝笙騻鞑ズ吞荻认陆祦碛?xùn)練巨大的神經(jīng)網(wǎng)絡(luò)，但也許它看起來會有點(diǎn)不同，而且所有東西都會變得更大?！?/p>

談及當(dāng)下最熱門的大模型，Andrej Karpathy認(rèn)為它們?nèi)源嬖诟拘缘恼J(rèn)知局限。在他看來，這個行業(yè)“跳”得太快了，有時假裝很神奇，但可能只會出現(xiàn)粗制濫造的東西。

在被問及如何讓AI進(jìn)一步學(xué)習(xí)和改進(jìn)時，Andrej Karpathy提到了強(qiáng)化學(xué)習(xí)的兩難處境：在強(qiáng)化學(xué)習(xí)中，假設(shè)要在解決一個數(shù)學(xué)問題，首先會嘗試數(shù)百種不同的嘗試，這些嘗試的過程可能很復(fù)雜，而且還會產(chǎn)生許多“噪聲”；但相比過去的方法，它仍是目前最優(yōu)解。未來可能需要引入更高層次的「元學(xué)習(xí)」或合成數(shù)據(jù)機(jī)制來改進(jìn)模型評估，但目前尚無實(shí)驗(yàn)室在大規(guī)模通用環(huán)境下成功實(shí)現(xiàn)這一點(diǎn)。

人類學(xué)習(xí)與機(jī)器學(xué)習(xí)的對比

人類在學(xué)習(xí)時不僅吸收信息，還通過反思、討論等方式整合知識，而當(dāng)前大模型僅僅通過預(yù)測下一個詞進(jìn)行學(xué)習(xí)，缺乏這種“思考”過程。Andrej Karpathy指出與大模型相比，人類的不擅長記憶反而是一種進(jìn)化優(yōu)勢，迫使我們學(xué)習(xí)可泛化的模式。他認(rèn)為，未來的AI應(yīng)減少機(jī)械記憶，更像人類那樣依靠思考與探索來學(xué)習(xí)。換句話說，真正的智能不在于記憶更多，而在于理解與泛化。

對于超級智能（ASI）Andrej Karpathy認(rèn)為只是社會自動化進(jìn)程的自然延伸，“很多事情會逐漸自動化，而超級智能將是這種趨勢的延伸。我們期望隨著時間的推移，會有越來越多自主的實(shí)體：它們在做大量的數(shù)字工作，最終甚至可能會從事體力工作。”