建模知識(shí)與開源工具選項(xiàng)

IT資訊 2016/11/24

在這里，我們不會(huì)涉及人腦或者人類智能方面的議題，而是嘗試解讀深度學(xué)習(xí)技術(shù)如何幫助我們解決計(jì)算機(jī)科學(xué)與早期人工智能領(lǐng)域的那些重大難題。我們還將談到深度學(xué)習(xí)的優(yōu)勢(shì)與應(yīng)用范疇，并解答創(chuàng)建深度學(xué)習(xí)模型中遇到的部分問(wèn)題。我們將提供參考、建議與技巧，并以此為起點(diǎn)開展其它后續(xù)議題。

首先，我個(gè)人并不是深度學(xué)習(xí)領(lǐng)域的大牛。相反，我同樣在學(xué)習(xí)這項(xiàng)技術(shù)，并希望通過(guò)本文分享自己的思路與知識(shí)，以鼓勵(lì)更多朋友加入學(xué)習(xí)的行列。如果大家發(fā)現(xiàn)其中存在任何遺漏、錯(cuò)誤或者需要補(bǔ)充的內(nèi)容，請(qǐng)?jiān)谠u(píng)論中不吝指出，感謝。

作為一名數(shù)據(jù)科學(xué)專家，深度學(xué)習(xí)技術(shù)最吸引我的地方在于其能夠延伸至多個(gè)領(lǐng)域并解決大量實(shí)際問(wèn)題。深度學(xué)習(xí)如今已經(jīng)成為一種趨勢(shì)，且擁有巨大的潛在應(yīng)用空間。真正有趣的是，深度學(xué)習(xí)能夠從數(shù)據(jù)當(dāng)中提取出隱藏的特性，從而幫助設(shè)備在無(wú)需明確編程（基于規(guī)則的系統(tǒng)）或者人工調(diào)整（其它一些機(jī)器學(xué)習(xí)算法會(huì)借此改進(jìn)自身學(xué)習(xí)能力）的前提下學(xué)習(xí)如何完成任務(wù)。

利用深度學(xué)習(xí)方案，圖像、語(yǔ)音與視頻識(shí)別領(lǐng)域的研究人員及從業(yè)者已經(jīng)獲得了良好的收效。深度學(xué)習(xí)能夠幫助AI更好地充當(dāng)機(jī)器人的大腦，亦可在快速崛起的物聯(lián)網(wǎng)領(lǐng)域發(fā)揮巨大作用。對(duì)于企業(yè)，深度學(xué)習(xí)已經(jīng)開始在客戶服務(wù)精簡(jiǎn)與人工密集型任務(wù)內(nèi)的自動(dòng)化輔助領(lǐng)域有所建樹。另外，大家可能也已經(jīng)開始利用深度學(xué)習(xí)支持型機(jī)器人回答產(chǎn)品咨詢問(wèn)題或者匯總最為常見(jiàn)的提問(wèn)內(nèi)容。蘋果Siri與微軟Cortana皆以深度學(xué)習(xí)作為其核心組件，而醫(yī)藥與醫(yī)療領(lǐng)域的X片及核磁掃描診斷亦可逐步由深度學(xué)習(xí)算法負(fù)責(zé)解讀。

深度學(xué)習(xí)方法通過(guò)大規(guī)模數(shù)據(jù)量訓(xùn)練自身建立非線性關(guān)聯(lián)能力，而正是這種能力使其在家族眾多前輩當(dāng)中脫穎而出。

要了解標(biāo)準(zhǔn)深度學(xué)習(xí)算法的基本原理，我們首先需要了解其前代方案，即神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)包含三個(gè)層級(jí)，分別為輸入層、隱藏層與輸出層。

•     輸入層由神經(jīng)構(gòu)成，其負(fù)責(zé)接收輸入值。這些神經(jīng)的輸出結(jié)果與輸入預(yù)測(cè)相同。

•    輸出層為神經(jīng)網(wǎng)絡(luò)的最終層，負(fù)責(zé)向用戶環(huán)境返回結(jié)果。根據(jù)神經(jīng)網(wǎng)絡(luò)的具體設(shè)計(jì)，其還能夠告知之前各層其如何了解信息內(nèi)容并據(jù)此改進(jìn)之前各層的實(shí)際功能。

•    隱藏層位于輸入與輸出層之間。從傳統(tǒng)角度講，隱藏層的數(shù)量區(qū)間由一到多，其屬于將輸入與節(jié)點(diǎn)輸出結(jié)果相映射的中央計(jì)算層。

為何由神經(jīng)網(wǎng)絡(luò)過(guò)渡至深度學(xué)習(xí)？

“深度”架構(gòu)的引入能夠支持多個(gè)隱藏層。這意味著其可實(shí)現(xiàn)早期神經(jīng)網(wǎng)絡(luò)所無(wú)法實(shí)現(xiàn)的多表示層或者學(xué)習(xí)更為復(fù)雜的特性結(jié)構(gòu)。

改進(jìn)并變更以支持多種架構(gòu)（DBN、RBM、CNN乃至RNN），從而適應(yīng)各類不同問(wèn)題。

能夠優(yōu)化算法以處理大規(guī)模數(shù)據(jù)計(jì)算任務(wù)。

引入優(yōu)化與正則化參數(shù)，例如通過(guò)取舍降低訓(xùn)練數(shù)據(jù)規(guī)模。

具備開源深度學(xué)習(xí)軟件包并面向多種主流編程語(yǔ)言，從而為特定領(lǐng)域帶來(lái)創(chuàng)新成果。

單純?cè)黾与[藏層數(shù)量并不足以提升生產(chǎn)力。那么，我們?cè)撊绾螌⑸疃葘W(xué)習(xí)真正轉(zhuǎn)化為實(shí)踐工具？

越來(lái)越多的數(shù)據(jù):用于訓(xùn)練深層學(xué)習(xí)算法的數(shù)據(jù)量越大，其實(shí)際效果就越好。另外，數(shù)據(jù)本身還應(yīng)當(dāng)同時(shí)囊括正面與負(fù)面狀況，從而幫助算法區(qū)分不同情況并獲取對(duì)應(yīng)知識(shí)。深層學(xué)習(xí)的興起與準(zhǔn)確性提升與大數(shù)據(jù)的全面來(lái)襲密不可分。數(shù)字化與大數(shù)據(jù)處理框架能夠幫助深層學(xué)習(xí)更好地獲取訓(xùn)練所必需的數(shù)據(jù)資源。

調(diào)整模型是種藝術(shù): 在深層學(xué)習(xí)模型當(dāng)中，超參數(shù)與知識(shí)是實(shí)現(xiàn)模型調(diào)整的必要途徑。其可立足于數(shù)據(jù)集優(yōu)化深層學(xué)習(xí)算法性能并提升其準(zhǔn)確性。在本系列的下一篇文章中，我們將探討如何利用H2O在創(chuàng)建深層學(xué)習(xí)模型的過(guò)程中確定相關(guān)參數(shù)。

說(shuō)到這里，我們又面臨著新的問(wèn)題，復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)需要大量計(jì)算性能用于訓(xùn)練。這項(xiàng)難題已經(jīng)被價(jià)格合理的高性能GPU所解決，這要?dú)w功于英偉達(dá)及英特爾等廠商的不斷推進(jìn)。可以看到，利用GPU的深層學(xué)習(xí)模型能夠?qū)崿F(xiàn)遠(yuǎn)高于CPU的訓(xùn)練速度。英偉達(dá)公司在其博客中指出，根據(jù)基準(zhǔn)測(cè)試結(jié)果顯示，GPU加速型神經(jīng)網(wǎng)絡(luò)訓(xùn)練在速度上能夠達(dá)到CPU的10到20倍。這意味著原本需要數(shù)周甚至數(shù)天的訓(xùn)練如今只需要數(shù)小時(shí)即可完成。

R用戶能夠利用以下軟件包創(chuàng)建深層學(xué)習(xí)模型。在下一篇文章中，我們的深層學(xué)習(xí)模型也將由H2O與R配合創(chuàng)建完成。

h2o:面向H2O的R接口。其能夠?yàn)镠2O提供R腳本功能，而H2O則是一套用于計(jì)算各類并行分布式機(jī)器學(xué)習(xí)算法的開源數(shù)學(xué)引擎，其適用范圍包括在各類集群環(huán)境下實(shí)現(xiàn)廣義近線模型、梯度引導(dǎo)設(shè)備、隨機(jī)森林以及神經(jīng)網(wǎng)絡(luò)（深層學(xué)習(xí)）。

mxnet:為R語(yǔ)言提供靈活且高效的GPU計(jì)算與領(lǐng)先的深層學(xué)習(xí)能力。

deepnet: R語(yǔ)言中的深層學(xué)習(xí)工具集。

neuralnet:用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。其利用配合或未配合權(quán)重回溯的彈性反向傳播，或者經(jīng)過(guò)修改的全局聚合版本。這套軟件包允許我們通過(guò)定制化錯(cuò)誤與激活函數(shù)選擇實(shí)現(xiàn)設(shè)置調(diào)整。另外，其亦可實(shí)現(xiàn)廣義加權(quán)計(jì)算能力。

rnn:遞歸神經(jīng)網(wǎng)絡(luò)。在R語(yǔ)言環(huán)境下實(shí)現(xiàn)遞歸神經(jīng)網(wǎng)絡(luò)。

darch:面向深層架構(gòu)與受限玻爾茲曼機(jī)的軟件包。darch軟件包由G. E. Hinton與R. R. Salakhutdinov提供的代碼構(gòu)建而成。這種方法中包含一項(xiàng)由G.E Hinton發(fā)布的預(yù)訓(xùn)練對(duì)比發(fā)散方法并在發(fā)布前利用反向傳播及共軛梯度等算法進(jìn)行預(yù)訓(xùn)練。另外，其中亦引入更多其它新型技術(shù)以提升深層學(xué)習(xí)的細(xì)粒度調(diào)整效果。

autoencoder:用于對(duì)未標(biāo)記數(shù)據(jù)內(nèi)表現(xiàn)特性進(jìn)行自動(dòng)化學(xué)習(xí)的稀疏自動(dòng)編碼器。

大家可以下載您所喜愛(ài)的深層學(xué)習(xí)軟件包并開始編程。為了幫助大家更好地找到起點(diǎn)，我們可以立足以下問(wèn)題以建立一套適合自身實(shí)際情況的深層學(xué)習(xí)模型。

共有多少神經(jīng)元需要使用輸入層？決定輸入或者功能數(shù)量。

應(yīng)該使用多少個(gè)隱藏層？要了解所需使用的具體隱藏層數(shù)量，我們應(yīng)當(dāng)利用標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)方案進(jìn)行交叉驗(yàn)證。

每個(gè)隱藏層中應(yīng)包含多少個(gè)神經(jīng)元？我們無(wú)法純粹依靠現(xiàn)成技術(shù)確定隱藏層中的具體神經(jīng)元數(shù)量。最常見(jiàn)的隱藏層最佳神經(jīng)元數(shù)量應(yīng)介于輸入層與輸出層神經(jīng)元數(shù)量之間。另外，我們亦可使用幾何金字塔規(guī)則計(jì)算出一項(xiàng)粗略的近似值，這是一套擁有N個(gè)輸入與輸出神經(jīng)元的三層網(wǎng)絡(luò)，其中隱藏層的神經(jīng)元數(shù)量為sqrt(n * m)sqrt(n * m)個(gè)。

深層學(xué)習(xí)網(wǎng)絡(luò)能否在無(wú)需隱藏層的情況下實(shí)現(xiàn)？是的，但請(qǐng)不要將其稱為“深層”學(xué)習(xí)網(wǎng)絡(luò)。其能夠接納數(shù)量，并對(duì)數(shù)據(jù)進(jìn)行線性分離。

我們應(yīng)當(dāng)設(shè)置多少輸出層神經(jīng)元？ 等同于我們持有的目標(biāo)類數(shù)量。

原文標(biāo)題：Dive Deep Into Deep Learning    原文作者：Sibanjan Das