回望2018，AI大潮依舊浩浩湯湯，勢頭不減。
這一年都有哪些重要進展呢？2018年即將過去，一些大牛也給出了自己的看法。
剛剛，前Quora技術VP、AI領域技術專家Xavier Amatriain在Quora上回答了一個相關的問題：2018年ML/AI領域最重要的進展是什么？
他在答案中給出了4個方面：
回歸理性，炒作降溫；
舍虛務實，更關注具體問題；
深度學習在NLP領域大放異彩；
框架之爭愈發激烈，強化學習成焦點。
答案發布之后，便引發了大量圍觀，Quora上點贊近400，Yann LeCun也在Twitter上轉發推薦。
當然，答案不僅僅只有這4句話，Amatriain也都給出了解釋。
炒作降溫
2017年，是AI炒作無所不在的一年。最突出的，就是馬斯克和扎克伯格等各方大佬就AI對于人類是福是禍進行了隔空論戰。這些論戰為AI賺足了注意力。
Amatriain表示，與2017年相比，我們好像冷靜下來了。一個主要的原因可能是這些大佬們忙于處理其他事情了。
比如Facebook深陷數據與隱私旋渦，麻煩事情不斷。馬斯克也歷經特斯拉生產地獄，度過了艱難的一年。
與此同時，雖然很多人都認為自動駕駛以及類似的技術正在向前發展，但就目前事故不斷的情況，所謂的“明天”，還有很遠。
更關注具體問題
相對于AI是福是禍的討論，2018年對AI的關注也開始變得愈加務實了。
首先是公平性。2018年，對公平性的討論，并不僅僅限于發表一些論文或者言論。谷歌還上線了相應的課程。
其次是可解釋性和因果關系。因果關系之所以重新成為了人們關注的焦點，主要是因為圖靈獎得主、貝葉斯網絡之父Judea Pearl出版了《The Book of Why》一書，在Twitter上引發了關于因果關系的大討論。
而且，ACM Recsys上獲得最佳論文獎的論文，也探討了如何在嵌入中包含因果關系的問題。
討論也不僅僅限于學界，大眾媒體《大西洋月刊》也發表文章指出，這是對現有人工智能方法的“挑戰”。
雖然因果關系引發了不少的討論，但也有許多學者認為，從某種程度上來說， 因果關系其實分散了人們對理論的關注，應該關注更加具體的問題，比如模型的可解釋性。
其中最具代表性的，就是華盛頓大學Marco Tulio Ribeiro等人發表的論文，這篇論文是對著名的LIME（一種解釋任何機器學習分類器的預測的技術）模型的跟進。
論文鏈接：
https://homes.cs.washington.edu/~marcotcr/aaai18.pdf
深度學習在NLP領域大放異彩
2018年，深度學習依舊受到了質疑。CMU學者Simon DeDeo在Twitter上猛烈炮轟Google Brain團隊，稱這技術（機器學習）現在所做的事情，跟1990年沒什么差別，頂多就是規模更大，但并沒有給我們帶來比20年前更深刻的見解。
Amatriain說，深度學習等技術并沒有止步不前，還有很多領域沒有運用相關的技術。具體來說，深度學習在計算機視覺之外的領域取得了前所未有的成功。
最為突出的就是NLP領域。谷歌的Smart Compose（Gmail中智能預測拼寫神經網絡）和Duplex對話系統（會打電話的AI），可以說是2018年最令人印象深刻的兩個AI應用了。
NLP領域的進展，也不僅僅只體現在應用上。在語言模型上也有了很大的進步。最大的功臣是Fast.ai的UMLFit，推廣了相關的概念與想法。
然后是其他的方法，比如艾倫研究所的ELMo、OpenAI的Transformers、谷歌最近的BERT等等，都取得了非常好的效果。
它們提供了即用型的預訓練和通用模型，可以針對特定任務微調。因此，這些模型的出現，也被描述為“NLP的Imagenet時刻”。
除了這些之外，還有其他一些進步，比如Facebook的多語言嵌入。而且，我們也看到了這些方法被整合到通用的NLP框架中的速度變得非常快了，比如AllenNLP或Zalando的FLAIR。
關于NLP領域的總結，還有一篇文章，推薦給你閱讀：
框架之爭愈發激烈，強化學習成焦點
最令人驚訝的一點是，就在Pytorch 1.0發布的時候，Pytorch似乎快要趕上了TensorFlow。
雖然在生產的過程中使用Pytorch仍舊不太理想，但在可行性、文檔和教育方面，Pytorch已經超過了TensorFlow。
這其中，選擇Pytorch作為實現Pytorch庫的框架可能起到了很大的作用。
谷歌也已經意識到了這一點，也正在朝著這個方向努力，將Keras納入框架，并吸納Paige Bailey這樣的開發者領袖加入其中。
雖然今年強化學習領域的進展比不上前些年，只有DeepMind最近的IMPALA還算令人印象深刻。但基本上AI領域所有的“玩家”都發布了強化學習框架。
谷歌發布了Dopamine框架，DeepMind發布了有點競爭性的TRFL，Facebook當然不會落后，發布了Horizon，微軟則發布了TextWorld，專門用于訓練基于文本的智能體。
希望這些開源工具的出現，強化學習能在2019年有更多的突破進展。
此外，框架方面還有一個有趣的進展。谷歌最近發布了基于TensorFlow的TFRank。排序是一個非常重要的ML應用，它應該得到更多的關注。
其他一些進展
圍繞著數據改進，深度學習領域仍然有非常有趣的進展。
比如說，對于深度學習非常關鍵的數據擴充（data augmentation）在今年有了新的進展。谷歌發布了auto-augment，一種深度強化學習方法，可以自動擴充訓練數據。
一個更加極端想法是用合成數據訓練深度學習模型，許多人都認為這是AI未來發展的關鍵。英偉達在《Training Deep Learning with Synthetic Data》論文中提出了一些新的想法。
論文鏈接：
https://arxiv.org/abs/1804.06516
在《Learning from the Experts》一文中，展示了如何使用專家系統合成數據。
論文鏈接：
https://arxiv.org/abs/1804.08033
最后，還有一種方法是“weak supervision”，可以減少對大量手工標注數據的需求。Snorkel是一個非常有趣的項目，想要提供了一個通用的框架，來推進這種方法。
項目地址：
https://blog.acolyer.org/2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true
Amatriain說，就AI領域更為基礎的突破，今年并沒有看到太多。
但他不同意Hinton的看法，即認為缺乏創新是因為這個領域年輕人太多，資深的人太少。
在他看來，缺乏突破的主要原因是，現有的方法仍舊有許多地方可以應用，因此很少有人去冒險近嘗試不切實際的想法。尤其是當前大多數研究都是由大公司資助的，讓這一特點更加突出了。
不過，還是有一些人在嘗試，代表性的論文有兩篇。
【來源：量子位】
