點(diǎn)擊上方機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)，選擇置頂公眾號(hào) 重磅干貨，第一時(shí)間送達(dá) 作者：微調(diào)@zhihu 圖

重磅干貨，第一時(shí)間送達(dá)

作者：微調(diào)@zhihu

圖片：pexels

深度學(xué)習(xí)的課程和傳統(tǒng)計(jì)算機(jī)課程有很大的不同，也可以說獨(dú)樹一幟，其獨(dú)特性主要來自于：1. 前置課程多 2. 缺乏完整的理論體系 3. 繁多的調(diào)參技巧 4. 知識(shí)迭代速度快 5. 交叉領(lǐng)域應(yīng)用能力強(qiáng)。

以幾門傳統(tǒng)的計(jì)算機(jī)課程(數(shù)據(jù)結(jié)構(gòu)和算法、數(shù)據(jù)庫、操作系統(tǒng))為參照對象，我覺得深度學(xué)習(xí)課程設(shè)置有以下不同：

1. 前置課程要求較多，需要較廣的基礎(chǔ)知識(shí)

一般我們把深度學(xué)習(xí)/機(jī)器學(xué)習(xí)的課程安排在大三以后，而研討課(seminar)一般安排在研究生博士階段，這與大部分傳統(tǒng)計(jì)算機(jī)課程不同。這是因?yàn)樯疃葘W(xué)習(xí)涉及了很多數(shù)學(xué)、統(tǒng)計(jì)概率、以及優(yōu)化方向的知識(shí)，對剛?cè)雽W(xué)的學(xué)生不大友好，具體包括：

線性代數(shù)：矩陣/張量乘法、求逆，奇異值分解/特征值分解，行列式，范數(shù)等

統(tǒng)計(jì)與概率：概率分布，獨(dú)立性與貝葉斯，最大似然(MLE)和最大后驗(yàn)估計(jì)(MAP)等

信息論：基尼系數(shù)，熵(Entropy)等

優(yōu)化：線性優(yōu)化，非線性優(yōu)化(凸優(yōu)化/非凸優(yōu)化)以及其衍生的求解方法如梯度下降、牛頓法、基因算法和模擬退火等

數(shù)值計(jì)算：上溢與下溢，平滑處理，計(jì)算穩(wěn)定性(如矩陣求逆過程)

微積分：偏微分，鏈?zhǔn)椒▌t，矩陣求導(dǎo)等

舉個(gè)例子，我曾短暫帶過多倫多大學(xué)神經(jīng)網(wǎng)絡(luò)的課程(就是Hinton原來教的那門csc321)的助教，當(dāng)時(shí)給我們助教的資格測試是對矩陣進(jìn)行奇異值分解和其他線性代數(shù)的知識(shí)，而不是推導(dǎo)BP算法。這也是為什么大部分深度學(xué)習(xí)課程的前幾節(jié)助教課都是講這些基礎(chǔ)知識(shí)，正所謂不積跬步無以至千里。

而大部分的傳統(tǒng)計(jì)算機(jī)課程不需要這么多的前置知識(shí)，入門門檻相對低一些。即使以可計(jì)算理論(Computability Theory)這種理論性比較強(qiáng)的課來說，其要求的知識(shí)廣度也不及深度學(xué)習(xí)。但此處也想給大家提個(gè)醒，深度學(xué)習(xí)沒有必要等到掌握所有領(lǐng)域知識(shí)再開始，應(yīng)該一邊學(xué)習(xí)一邊補(bǔ)充所需知識(shí)。

2. 知識(shí)更新速度快，時(shí)效性強(qiáng)

雖然深度學(xué)習(xí)的前身，也就是感知機(jī)(perceptron)已經(jīng)有超過50年的歷史，但深度學(xué)習(xí)還屬于一個(gè)飛速發(fā)展的新興領(lǐng)域，因此很多經(jīng)典的理論/技巧很快就被推翻。舉兩個(gè)例子：

激活函數(shù)的選擇：在很多深度學(xué)習(xí)的教科書中，尤其是10年以前的教科書中都還依然把Sigmoid當(dāng)作默認(rèn)的激活函數(shù)。但事實(shí)上，整流函數(shù)(ReLu)以及其拓展變形函數(shù)，如Leaky ReLu早就成為了主流的深度學(xué)習(xí)激活函數(shù)。但因?yàn)橹R(shí)的滯后性，很多課程/書籍甚至都沒有介紹ReLu的章節(jié)。

鞍點(diǎn)和全局最?。洪L年以來學(xué)術(shù)界把深度學(xué)習(xí)使用BP算法難以得到全局最優(yōu)解的原因歸結(jié)于存在大量的局部最小(local minimum)導(dǎo)致梯度下降失敗，直到最近幾年大家才比較一致的認(rèn)同可能問題出在了大量鞍點(diǎn)(saddle points)導(dǎo)致了梯度下降法在Hessian矩陣的條件數(shù)很差時(shí)在高維空間失效。

大部分計(jì)算機(jī)科學(xué)課程有可以自洽的經(jīng)典體系，短時(shí)間內(nèi)理論上不會(huì)發(fā)生很大的變化。你看幾年前的操作系統(tǒng)書籍或者課程，和現(xiàn)在的主流知識(shí)變化不是很大。而深度學(xué)習(xí)領(lǐng)域基本上每過一陣子都會(huì)出個(gè)大新聞，然后大家才發(fā)現(xiàn)一直都做錯(cuò)了。所以深度學(xué)習(xí)課程很講究時(shí)效性，超過3年以上的書籍和課程或多或少都有錯(cuò)誤或者不準(zhǔn)確的地方，切記切記！

但換個(gè)角度思考，這也說明了深度學(xué)習(xí)還有很大的潛力，可以研究的方向很多。這兩年很火的多任務(wù)學(xué)習(xí)(multi-task learning), 遷移學(xué)習(xí)(transfer learning), 對抗生成網(wǎng)絡(luò)(GAN)都給了研究者更多的挖坑方向。

3. 理論證明比較薄弱，高度依賴黑科技(調(diào)參技巧)

承接第二點(diǎn)，深度學(xué)習(xí)缺乏從數(shù)學(xué)角度的自洽解釋，而且好用有效的深度學(xué)習(xí)模型其實(shí)還是大量依靠人為進(jìn)行構(gòu)建和參數(shù)調(diào)整。換句話說，深度學(xué)習(xí)還沒有一套完整的，自上而下的操作流程，現(xiàn)階段還大量依靠人為的選擇、調(diào)整、優(yōu)化。這也是為什么深度學(xué)習(xí)被叫做煉丹，而從業(yè)人員被叫做煉丹師。

深度學(xué)習(xí)的調(diào)參技巧早就被外界所詬病，除了選擇良好的激活函數(shù)，小心的設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，還要給隱藏單元加入噪音(如Dropout)，使用合適的正則化方法等。其中每一項(xiàng)展開都可以算作一個(gè)領(lǐng)域，更別提把這些步驟整合時(shí)可能造成指數(shù)級(jí)的選擇困難。高度的不確定性使得課程設(shè)置變得很難。

Goodfellow在《深度學(xué)習(xí)》一書中就指出深度學(xué)習(xí)中使用的優(yōu)化算法幾乎都沒有理論保證，我們只有不斷進(jìn)行強(qiáng)假設(shè)限制得到一些理論保證。不僅僅是優(yōu)化，深度學(xué)習(xí)作為一種表示學(xué)習(xí)(representation learning)，對于特征的提取和解釋也只有非常有限的解釋性。同理，剛剛提到的dropout操作，其使用的權(quán)重縮放推斷(weight scaling inference)也是一種經(jīng)驗(yàn)科學(xué)沒有理論的背書，但因?yàn)樾Ч娴暮芎盟栽谠擃I(lǐng)域得到了廣泛應(yīng)用。

深度學(xué)習(xí)現(xiàn)階段作為一門經(jīng)驗(yàn)科學(xué)，從課程設(shè)置角度來說面臨一個(gè)尷尬的局面。如果只講理論，那么實(shí)用性很低。而如果只講實(shí)際技巧，這又太不像一門專業(yè)科學(xué)無法自洽。這也是深度學(xué)習(xí)和其他計(jì)算機(jī)領(lǐng)域的一個(gè)顯著不同，某種意義上說深度學(xué)習(xí)的實(shí)用性走在了理論性前面。這使得深度學(xué)習(xí)從授課角度來說很難，舉兩個(gè)典型的例子：

Neural Networks for Machine Learning | Coursera: Geof Hinton的課偏理論，輕實(shí)踐

Deep Learning | Coursera: Andrew Ng的課程偏實(shí)踐，輕理論

可以看出，深度學(xué)習(xí)對授課教師也提出了很高的要求。如果工程性太強(qiáng)那么理論很薄弱像空中樓閣，而太理論缺乏實(shí)踐技巧又比較像屠龍之技。而其他計(jì)算機(jī)課程基本都已經(jīng)有了一個(gè)比較好的自洽體系，能在理論和實(shí)踐中達(dá)到一個(gè)不錯(cuò)的平衡。

作為經(jīng)驗(yàn)科學(xué)，那實(shí)驗(yàn)必不可少。但這對于學(xué)校/教育機(jī)構(gòu)來說也面臨一個(gè)成本問題，是否有能力提供足夠的軟硬件支持，即學(xué)生是否可以在注冊期間使用服務(wù)器/GPU。大部分深度學(xué)習(xí)的項(xiàng)目都無法在個(gè)人電腦上完成，尤其個(gè)人筆記本的主流操作系統(tǒng)還是Windows。這一點(diǎn)對于本科學(xué)生來說更不友好，因?yàn)閺某杀窘嵌葘W(xué)校很難提供硬件支持，也沒有導(dǎo)師愿意購買設(shè)備供大家使用。我個(gè)人比較看好的方法還是學(xué)校和云服務(wù)廠商合作，保證注冊課程的學(xué)生在上課期間可以有一定時(shí)長的GPU使用機(jī)會(huì)。

4. 高學(xué)科交叉度，導(dǎo)致領(lǐng)域課程設(shè)置細(xì)分

深度學(xué)習(xí)的廣泛使用使得其課程設(shè)置更加細(xì)分化。其他計(jì)算機(jī)課程一般都叫做XX入門，中級(jí)XX，和高級(jí)XX。深度學(xué)習(xí)不同，作為一門工具學(xué)科既可以用來做視覺(Computer Vision)，也可以做自然語言處理(NLP)，還可以做很多其他的領(lǐng)域，導(dǎo)致了其課程設(shè)置非常細(xì)。以多倫多大學(xué)2017年的研究生博士課程為例，和深度學(xué)習(xí)相關(guān)的課程就超過了7門:

Topics in Machine Learning: Scalable & Flexible Models of Uncertainty

Topics in Machine Learning: Learning Discrete Latent Structure

Machine Learning and Data Mining

Machine Learning in Computer Vision

Natural Language Computing

Topics in Computational Molecular Biology: Computational Methods in Medicine

Advanced Machine Learning

這些課程中1,2,3,7是比較傳統(tǒng)的機(jī)器學(xué)習(xí)課程，4, 5, 6分別是機(jī)器學(xué)習(xí)/深度學(xué)習(xí)在機(jī)器視覺，自然語言處理，和計(jì)算生物方向的應(yīng)用。以前系里面的課還有 用深度學(xué)習(xí)+機(jī)器視覺做無人車等。而且統(tǒng)計(jì)系或者運(yùn)籌學(xué)系又都有機(jī)器學(xué)習(xí)/深度學(xué)習(xí)的課程，這再一次證明了深度學(xué)習(xí)高交叉性、高遷移性的特點(diǎn)。

換個(gè)角度思考，深度學(xué)習(xí)的課程往往只有在入門階段才是純深度學(xué)習(xí)，進(jìn)階學(xué)習(xí)往往都會(huì)將其應(yīng)用于某個(gè)特定領(lǐng)域解決實(shí)際問題。這個(gè)和其他領(lǐng)域的計(jì)算機(jī)課程不同，你很少見到把操作系統(tǒng)或者數(shù)據(jù)庫領(lǐng)域的知識(shí)大規(guī)模的遷移到其他學(xué)科上的案例。

5. 總結(jié)

從以上分析不難看出，深度學(xué)習(xí)作為一個(gè)年輕的學(xué)科，和其他成熟的計(jì)算機(jī)課程還是有很大不同。比較明顯的就是因?yàn)槠漭^高的前置背景，導(dǎo)致其入門要求高，一般是高年級(jí)課程。其次就是因?yàn)槠洳⑽葱纬赏暾郧⒌睦碚擉w系，導(dǎo)致系統(tǒng)的課程設(shè)置很難，而且有很多人為的黑科技。但即使如此，深度學(xué)習(xí)的有效性已經(jīng)在多個(gè)交叉領(lǐng)域被證明，這也導(dǎo)致了其課程設(shè)置非常細(xì)而且可覆蓋的話題比較靈活。深度學(xué)習(xí)的特別之處告訴我們：

掌握好基礎(chǔ)知識(shí)，但不要矯枉過正，買櫝還珠

不斷更新知識(shí)，追蹤主流熱點(diǎn)，不要抱著固有的觀念

上手調(diào)參，有時(shí)候?qū)嵺`比理論更重要，至少在現(xiàn)階段的深度學(xué)習(xí)領(lǐng)域

專注特定領(lǐng)域，不要試圖短時(shí)間內(nèi)能成為橫跨多個(gè)領(lǐng)域的專家

而從講課的角度來說，深度學(xué)習(xí)的課程很難掌握好理論與實(shí)踐的平衡，而且必須時(shí)時(shí)刻刻跟蹤前沿?zé)狳c(diǎn)進(jìn)展，這樣才能防止被聽眾打臉。