介紹神經網絡:按需網絡研討會和FAQ現在可用!
2018年10月1日 在工程的博客
9月27日,我們舉辦了一個研討會介紹神經網絡——丹尼李,在磚技術產品營銷經理。這是第一個自由的深度學習研討會基本從磚係列。
在這個網絡研討會中,我們介紹了深基礎學習神經網絡更好地理解是什麼讓他們的表達能力:
- 深度學習的潛力和可能應用的例子
- 背後的數學概念人工神經網絡(安)
- 反向傳播梯度下降優化的概念,和激活功能
我們演示了這些概念的一些使用Keras磚(TensorFlow端),這裏是一個鏈接到我們的筆記本今天開始MNIST演示使用Keras CNN磚
你現在可以注冊第2部分和第3部分,我們將繼續探索神經網絡的力量,並深入討論最佳實踐訓練神經網絡(從準備數據集參數調優)以及架構卷積神經網絡的例子:
如果你想免費獲取磚統一分析平台Beplay体育安卓版本並嚐試我們的筆記本,你可以訪問在這裏免費試用。
到最後,我們舉行了一個問答,下麵的問題和答案,按主題分組。
基本麵
問:激活功能優先?或情況下適合一個特定的激活函數?
使用ReLU作為你的激活函數是一個好的起點,指出在許多神經網絡樣本Keras MNIST,TensorFlow CIFAR10修剪等)。注意,每個激活函數都有自己的優點和缺點。一個好的報價從激活功能CS231N總結了選擇:
“神經元類型我應該使用什麼?“使用ReLU非線性,小心你的學習速度和可能監控”的分數死”單位網絡。如果這個問題你,給漏ReLU或Maxout一試。不要使用乙狀結腸。嚐試雙曲正切,但希望它比ReLU / Maxout工作。
問:你憑什麼選擇的層數和每層的神經元數?
一般來說,越層,每一層的單元數量,人工神經網絡的容量就越大。關鍵問題是你可能運行風險過度擬合,當你的目標是構建一個通用模型。
從實用的角度來看,一個好的起點是:
- 輸入的數量單位等於特征的維度
- 輸出單元的數量等於類的數量(例如MNIST數據集,有10個可能的值代表數字(0…9)因此有10個輸出單元
- 開始與一個隱藏層2 x輸入單位的數量
一個好的參考Andrew NgCoursera機器學習課程。
問:什麼是理想的訓練和測試數據分割大小培訓深度學習模型?
深度學習模型的分割大小不在於不同於機器學習的一般規則;使用一個80/20分裂是一個很好的起點。
架構/生態係統
問:你應該使用什麼類型的Azure VM來訓練神經網絡(內存)多少錢?
一個好的起點與GPU將利用集群節點(在撰寫本文時,Azure這係列vm)和足夠的內存來保存一個龐大的部分數據。
深度學習在磚
問:磚提供了一步一步的教程可以幫助發展一些飛行員使用人工神經網絡(ANN) ?
是的,當然,我們鼓勵你開始筆記本探索潛在的安。,更多的例子,請參閱磚的深度學習部分文檔(AWS|Azure)。
額外的資源
- 機器學習101
- Andrej Karparthy的ConvNetJS MNIST演示
- 反向傳播神經網絡是什麼?
- CS231n:卷積神經網絡用於視覺識別
- 神經網絡和深入學習
- TensorFlow