近日，北京大雪紛飛，作為《麻省理工科技評論》在中國大陸地區(qū)的獨家運營方，DeepTech深科技聯(lián)合IBM中國研究院、網(wǎng)易科技、人民郵電出版社、云享客、數(shù)字家圓在國貿三期中國宴會廳舉辦了2017年《麻省理工科技評論》全球十大突破性技術榜單發(fā)布會。

　　科大訊飛、百度、馭勢科技、樂視、地平線、中科創(chuàng)星、華創(chuàng)資本、和米資本、地平線、易寶支付、清華大學、中國科技大學、中科院、中科晶云、合生基因、元碼基因、金準基因、華興資本、淺石創(chuàng)投等數(shù)十家機構的嘉賓參與了這次發(fā)布會。

　　作為全球最為著名的技術榜單之一，《麻省理工科技評論》全球十大突破性技術具備極大的全球影響力和權威性，至今已經舉辦了超過16年。每年上榜的有的已經在現(xiàn)實中得以應用，有的還尚需時日，但他們的重要性都毋庸諱言，注定將在未來對我們的經濟政治生活產生重大的影響，甚至會徹底改變整個社會的文化面貌。

　　DT君的美國合作伙伴MIT Technology Review出版人兼主編就十大突破技術中國首發(fā)進行專門的致辭，并就榜單內容做了簡單的介紹。

　　強化學習

　　Reinforcement Learning

　　技術突破：強化學習(Reinforcement Learning，RL)是一種人工智能方法，能使計算機在沒有明確指導的情況下像人一樣自主學習。

　　重要意義：假如機器不能夠自主通過環(huán)境經驗磨練技能，自動駕駛汽車以及其他自動化領域的進展速度將受到極大地限制。

　　主要研究者：

　　- DeepMind - 科大訊飛

　　- Mobileye - 阿里巴巴

　　- OpenAI - 微軟亞洲研究院

　　- Google - 中科院

　　- Uber - 百度

　　成熟期：1-2年

　　強化學習技術，正是AlphaGo能夠掌握復雜的圍棋游戲，并擊敗世界最強職業(yè)選手的關鍵。如今，強化學習正在迅速發(fā)展，并逐步將人工智能滲透到除了游戲之外的各個領域。除了能夠提升自動駕駛汽車性能，該技術還能讓機器人領會并掌握以前從未訓練過的技能。

　　本質上，強化學習技術是從自然界中學習的一種基本法則。心理學家愛德華·桑代克(Edward Thorndike)在100多年前也注意到了這一點。在最著名的迷箱實驗中，桑代克將貓放在一個迷箱中，貓只能通過按壓一個控制桿才能逃脫。觀察結果顯示，經過相當長時間的來回徘徊，動物最終總會偶然地踩到控制桿，然后逃脫。

　　一些最早期的人工智能研究者認為，迷箱實驗的過程有可能在機器中有效地重現(xiàn)。早在1951年，馬文·明斯基(Marvin Minsky)創(chuàng)造了世界上第一臺具有學習能力的機器，利用簡單形式的強化學習方法模擬了一只老鼠如何學習走出迷宮。

　　然而，隨后的幾十年里這個領域幾乎沒有什么喜人的成績。1992年，IBM的研究員杰拉爾德·特索羅(Gerald Tesauro)演示了一個使用人工智能技術玩西洋雙陸棋的程序。很快，這個程序就玩的非常熟練，并足以與最好的人類玩家競賽。這是人工智能發(fā)展史上一個里程碑式的成就。

　　強化學習技術之所以行得通，是因為研究人員找出了如何讓計算機程序計算出每種狀態(tài)下應該分配的強化值的方法。還是以迷箱實驗為例，在走出迷宮的過程中，“模擬老鼠”每一次做出“向左轉”或者“向右轉”動作時，計算機程序會做出獎或懲的評價。并且，所有分配的強化值都存儲在一張大表格中，然后計算程序會隨著學習的過程逐步更新這些數(shù)據(jù)。

　　但對于大型復雜的任務，這種方法在計算上是不切實際的。然而，近幾年來，深度學習技術被證明是一種用來識別數(shù)據(jù)模式的極其高效的方式，無論這里的數(shù)據(jù)指的是迷宮中的轉彎、圍棋棋盤上的位點，還是計算機游戲中屏幕上的像素，亦或是自動駕駛時面臨的復雜路況。

　　在國內，以科大訊飛為例，這家公司已經針對強化學習在多個方向展開了研究和應用，包括人機對話系統(tǒng)、智能客服系統(tǒng)、機器輔助駕駛、機器人控制等方向，都已有了應用研究。以對話系統(tǒng)這樣一個多輪人機交互系統(tǒng)為例，它就是一個非常典型的強化學習應用案例。

　　傳統(tǒng)的任務完成型對話系統(tǒng)，用戶需要在一次交互過程中把自己的需求描述清楚，這樣的交互不是自然的。在訊飛的AIUI交互系統(tǒng)框架中，引入了多輪交互的思想，由一個深度強化學習(馬爾庫夫決策過程)模型來引導用戶輸入需求，從而快速、自然流暢地完成用戶任務。

　　同時，許多工業(yè)機器人制造商也將目光投向了強化學習技術，測試該技術在無手工編程情況下訓練機器執(zhí)行新任務的效果。此外， Google公司的研究人員也正與DeepMind合作，試圖利用深度強化學習(deep reinforcement learning)技術使其數(shù)據(jù)中心更加節(jié)能。

　　通常，找出數(shù)據(jù)中心各個單元如何影響系統(tǒng)總能耗是十分困難的，但是強化學習算法能夠從收集的數(shù)據(jù)以及模擬實驗中學習經驗并提出優(yōu)化建議，比如說，如何以及何時啟動冷卻系統(tǒng)。