回望2018，AI大潮依舊浩浩湯湯，勢(shì)頭不減。
這一年都有哪些重要進(jìn)展呢？2018年即將過(guò)去，一些大牛也給出了自己的看法。
剛剛，前Quora技術(shù)VP、AI領(lǐng)域技術(shù)專(zhuān)家Xavier Amatriain在Quora上回答了一個(gè)相關(guān)的問(wèn)題：2018年ML/AI領(lǐng)域最重要的進(jìn)展是什么？
他在答案中給出了4個(gè)方面：
回歸理性，炒作降溫；
舍虛務(wù)實(shí)，更關(guān)注具體問(wèn)題；
深度學(xué)習(xí)在NLP領(lǐng)域大放異彩；
框架之爭(zhēng)愈發(fā)激烈，強(qiáng)化學(xué)習(xí)成焦點(diǎn)。
答案發(fā)布之后，便引發(fā)了大量圍觀(guān)，Quora上點(diǎn)贊近400，Yann LeCun也在Twitter上轉(zhuǎn)發(fā)推薦。
當(dāng)然，答案不僅僅只有這4句話(huà)，Amatriain也都給出了解釋。
炒作降溫
2017年，是AI炒作無(wú)所不在的一年。最突出的，就是馬斯克和扎克伯格等各方大佬就AI對(duì)于人類(lèi)是福是禍進(jìn)行了隔空論戰(zhàn)。這些論戰(zhàn)為AI賺足了注意力。
Amatriain表示，與2017年相比，我們好像冷靜下來(lái)了。一個(gè)主要的原因可能是這些大佬們忙于處理其他事情了。
比如Facebook深陷數(shù)據(jù)與隱私旋渦，麻煩事情不斷。馬斯克也歷經(jīng)特斯拉生產(chǎn)地獄，度過(guò)了艱難的一年。
與此同時(shí)，雖然很多人都認(rèn)為自動(dòng)駕駛以及類(lèi)似的技術(shù)正在向前發(fā)展，但就目前事故不斷的情況，所謂的“明天”，還有很遠(yuǎn)。
更關(guān)注具體問(wèn)題
相對(duì)于A(yíng)I是福是禍的討論，2018年對(duì)AI的關(guān)注也開(kāi)始變得愈加務(wù)實(shí)了。
首先是公平性。2018年，對(duì)公平性的討論，并不僅僅限于發(fā)表一些論文或者言論。谷歌還上線(xiàn)了相應(yīng)的課程。
其次是可解釋性和因果關(guān)系。因果關(guān)系之所以重新成為了人們關(guān)注的焦點(diǎn)，主要是因?yàn)閳D靈獎(jiǎng)得主、貝葉斯網(wǎng)絡(luò)之父Judea Pearl出版了《The Book of Why》一書(shū)，在Twitter上引發(fā)了關(guān)于因果關(guān)系的大討論。
而且，ACM Recsys上獲得最佳論文獎(jiǎng)的論文，也探討了如何在嵌入中包含因果關(guān)系的問(wèn)題。
討論也不僅僅限于學(xué)界，大眾媒體《大西洋月刊》也發(fā)表文章指出，這是對(duì)現(xiàn)有人工智能方法的“挑戰(zhàn)”。
雖然因果關(guān)系引發(fā)了不少的討論，但也有許多學(xué)者認(rèn)為，從某種程度上來(lái)說(shuō)， 因果關(guān)系其實(shí)分散了人們對(duì)理論的關(guān)注，應(yīng)該關(guān)注更加具體的問(wèn)題，比如模型的可解釋性。
其中最具代表性的，就是華盛頓大學(xué)Marco Tulio Ribeiro等人發(fā)表的論文，這篇論文是對(duì)著名的LIME（一種解釋任何機(jī)器學(xué)習(xí)分類(lèi)器的預(yù)測(cè)的技術(shù)）模型的跟進(jìn)。
論文鏈接：
https://homes.cs.washington.edu/~marcotcr/aaai18.pdf
深度學(xué)習(xí)在NLP領(lǐng)域大放異彩
2018年，深度學(xué)習(xí)依舊受到了質(zhì)疑。CMU學(xué)者Simon DeDeo在Twitter上猛烈炮轟Google Brain團(tuán)隊(duì)，稱(chēng)這技術(shù)（機(jī)器學(xué)習(xí)）現(xiàn)在所做的事情，跟1990年沒(méi)什么差別，頂多就是規(guī)模更大，但并沒(méi)有給我們帶來(lái)比20年前更深刻的見(jiàn)解。
Amatriain說(shuō)，深度學(xué)習(xí)等技術(shù)并沒(méi)有止步不前，還有很多領(lǐng)域沒(méi)有運(yùn)用相關(guān)的技術(shù)。具體來(lái)說(shuō)，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)之外的領(lǐng)域取得了前所未有的成功。
最為突出的就是NLP領(lǐng)域。谷歌的Smart Compose（Gmail中智能預(yù)測(cè)拼寫(xiě)神經(jīng)網(wǎng)絡(luò)）和Duplex對(duì)話(huà)系統(tǒng)（會(huì)打電話(huà)的AI），可以說(shuō)是2018年最令人印象深刻的兩個(gè)AI應(yīng)用了。
NLP領(lǐng)域的進(jìn)展，也不僅僅只體現(xiàn)在應(yīng)用上。在語(yǔ)言模型上也有了很大的進(jìn)步。最大的功臣是Fast.ai的UMLFit，推廣了相關(guān)的概念與想法。
然后是其他的方法，比如艾倫研究所的ELMo、OpenAI的Transformers、谷歌最近的BERT等等，都取得了非常好的效果。
它們提供了即用型的預(yù)訓(xùn)練和通用模型，可以針對(duì)特定任務(wù)微調(diào)。因此，這些模型的出現(xiàn)，也被描述為“NLP的Imagenet時(shí)刻”。
除了這些之外，還有其他一些進(jìn)步，比如Facebook的多語(yǔ)言嵌入。而且，我們也看到了這些方法被整合到通用的NLP框架中的速度變得非?？炝?，比如AllenNLP或Zalando的FLAIR。
關(guān)于NLP領(lǐng)域的總結(jié)，還有一篇文章，推薦給你閱讀：
框架之爭(zhēng)愈發(fā)激烈，強(qiáng)化學(xué)習(xí)成焦點(diǎn)
最令人驚訝的一點(diǎn)是，就在Pytorch 1.0發(fā)布的時(shí)候，Pytorch似乎快要趕上了TensorFlow。
雖然在生產(chǎn)的過(guò)程中使用Pytorch仍舊不太理想，但在可行性、文檔和教育方面，Pytorch已經(jīng)超過(guò)了TensorFlow。
這其中，選擇Pytorch作為實(shí)現(xiàn)Pytorch庫(kù)的框架可能起到了很大的作用。
谷歌也已經(jīng)意識(shí)到了這一點(diǎn)，也正在朝著這個(gè)方向努力，將Keras納入框架，并吸納Paige Bailey這樣的開(kāi)發(fā)者領(lǐng)袖加入其中。
雖然今年強(qiáng)化學(xué)習(xí)領(lǐng)域的進(jìn)展比不上前些年，只有DeepMind最近的IMPALA還算令人印象深刻。但基本上AI領(lǐng)域所有的“玩家”都發(fā)布了強(qiáng)化學(xué)習(xí)框架。
谷歌發(fā)布了Dopamine框架，DeepMind發(fā)布了有點(diǎn)競(jìng)爭(zhēng)性的TRFL，F(xiàn)acebook當(dāng)然不會(huì)落后，發(fā)布了Horizon，微軟則發(fā)布了TextWorld，專(zhuān)門(mén)用于訓(xùn)練基于文本的智能體。
希望這些開(kāi)源工具的出現(xiàn)，強(qiáng)化學(xué)習(xí)能在2019年有更多的突破進(jìn)展。
此外，框架方面還有一個(gè)有趣的進(jìn)展。谷歌最近發(fā)布了基于TensorFlow的TFRank。排序是一個(gè)非常重要的ML應(yīng)用，它應(yīng)該得到更多的關(guān)注。
其他一些進(jìn)展
圍繞著數(shù)據(jù)改進(jìn)，深度學(xué)習(xí)領(lǐng)域仍然有非常有趣的進(jìn)展。
比如說(shuō)，對(duì)于深度學(xué)習(xí)非常關(guān)鍵的數(shù)據(jù)擴(kuò)充（data augmentation）在今年有了新的進(jìn)展。谷歌發(fā)布了auto-augment，一種深度強(qiáng)化學(xué)習(xí)方法，可以自動(dòng)擴(kuò)充訓(xùn)練數(shù)據(jù)。
一個(gè)更加極端想法是用合成數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型，許多人都認(rèn)為這是AI未來(lái)發(fā)展的關(guān)鍵。英偉達(dá)在《Training Deep Learning with Synthetic Data》論文中提出了一些新的想法。
論文鏈接：
https://arxiv.org/abs/1804.06516
在《Learning from the Experts》一文中，展示了如何使用專(zhuān)家系統(tǒng)合成數(shù)據(jù)。
論文鏈接：
https://arxiv.org/abs/1804.08033
最后，還有一種方法是“weak supervision”，可以減少對(duì)大量手工標(biāo)注數(shù)據(jù)的需求。Snorkel是一個(gè)非常有趣的項(xiàng)目，想要提供了一個(gè)通用的框架，來(lái)推進(jìn)這種方法。
項(xiàng)目地址：
https://blog.acolyer.org/2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true
Amatriain說(shuō)，就AI領(lǐng)域更為基礎(chǔ)的突破，今年并沒(méi)有看到太多。
但他不同意Hinton的看法，即認(rèn)為缺乏創(chuàng)新是因?yàn)檫@個(gè)領(lǐng)域年輕人太多，資深的人太少。
在他看來(lái)，缺乏突破的主要原因是，現(xiàn)有的方法仍舊有許多地方可以應(yīng)用，因此很少有人去冒險(xiǎn)近嘗試不切實(shí)際的想法。尤其是當(dāng)前大多數(shù)研究都是由大公司資助的，讓這一特點(diǎn)更加突出了。
不過(guò)，還是有一些人在嘗試，代表性的論文有兩篇。
【來(lái)源：量子位】
