訓練你的神經網絡:按需網絡研討會和FAQ現在可用!
2018年10月22日 在工程的博客
10月9日,我們舉辦了一個研討會訓練神經網絡——數據科學中心與丹尼·李,在磚技術產品營銷經理。這是第二個研討會免費深度學習基本係列的磚。
在這個網絡研討會中,我們介紹了神經網絡訓練你的原則包括激活和損失函數,批量大小、數據歸一化和驗證數據集。
特別是,我們討論過:
- Hyperparameter調優,學習速率、反向傳播和過度擬合的風險
- 優化算法,包括亞當
- 卷積神經網絡和為什麼他們如此有效的圖像分類和目標識別
我們演示了這些概念的一些使用Keras磚(TensorFlow端),這裏是一個鏈接到我們的筆記本今天開始:
你仍然可以看下麵的部分1和現在注冊第3部分,我們將深入討論卷積神經網絡和如何使用它們:
如果你想免費獲取磚統一分析平台Beplay体育安卓版本並嚐試我們的筆記本,你可以訪問在這裏免費試用。
到最後,我們舉行了一個問答,下麵是所有的問題和答案,按主題分組。
基本麵
問之間的區別是什麼感知器和一個人工神經網絡,神經元,或節點?
感知器是一個單層人工神經網絡(ANN)用作二元分類器。神經元通常與生物相關的神經元,通常這個詞中的人工神經元節點用來引用一個安。
問:你如何決定隱藏層的數量給你人工神經網絡(安)?它是常見的,安需要四層由四個神經元?
正如介紹了神經網絡在網絡研討會和FAQ現有的需求,而你的起點上有一般的經驗法則(如從一個隱藏層並相應地擴大,輸入節點數等於的維數特征,等等),關鍵是,你需要測試。,訓練你的模型,然後運行測試和/或驗證違背模型來理解的準確性(更高更好)和損失(低更好)。
問:什麼是遞歸神經網絡的區別卷積神經網絡相比,網絡研討會討論的嗎?
卷積神經網絡用於圖像數據但有固定大小的限製,設計輸入和輸出向量(例如MNIST數字圖像的輸入和一個10位數作為可能的輸出)。反複出現的神經網絡(RNNs)克服這個限製,因為他們對向量序列。一個偉大的博客的主題RNNs不合理的複發性神經網絡的有效性。
激活功能
問:你是在網絡研討會,建議你不要使用乙狀結腸激活函數?
具體地說,網絡研討會中的引用(15張)CS231N卷積神經網絡對視覺識別斯坦福大學課程由Andrej Karparthy(目前AI主任特斯拉):
“神經元類型我應該使用什麼?“使用ReLU非線性,小心你的學習速度和可能監控”的分數死”單位網絡。如果這個問題你,給漏ReLU或Maxout一試。不要使用乙狀結腸。嚐試雙曲正切,但希望它比ReLU / Maxout工作。
一般來說,這是一個很好的經驗法則作為起點什麼您應該使用激活功能。重點應該是更多關於使用ReLU ReLU漏水或Maxout激活函數作為他們經常導致更高的精度和更低的損失。有關更多信息,請參閱介紹神經網絡在我們深入研究激活功能。
優化
問:為什麼使用隨機梯度下降法(SGD)作為優化如果可能有更好的優化器如ADADelta ?
在這個網絡研討會中,我們集中在特定區域的圖像分類,可以看出使用Adadelta優化聚合速度遠遠超過其他優化——對於這個場景。研討會還提到,有其他變量:激活函數,神經網絡架構,使用場景,等等,還有更多的研究來對這個話題,將會有新的策略和優化技術來嚐試。
問:當我們應該使用梯度增加(如自適應增加或演算法)而不是人工神經網絡梯度下降?我們什麼時候可以使用演算法代替ADADelta ?
自適應提升(演)是描述的自適應梯度技術提高決策理論泛化的在線學習和一個應用程序來提高。一般來說,這個想法是你將提振疲弱的學習者(學習者隻略優於隨機機會)通過過濾數據,這樣弱的學習者可以更容易地處理數據集。盡管目前的研究指向ann更簡單和更快的收斂,同樣重要的是要注意,這遠不是一個明確的聲明。例如,雖然機器學習分類方法的論文比較的非小細胞肺癌縱隔淋巴結轉移18 f-fdg PET / CT圖像指出,cnn更方便,本文學習深ResNet塊按順序使用提高理論指出,他們BoostResNet算法相比,計算效率比在深ResNet端到端反向傳播。雖然這是兩個非常不同的論文,重要的呼叫,還有更重要的工作做在這個令人興奮的領域。
問:你如何適應您的模型在處理傾斜數據?
的上下文中卷積神經網絡,這裏描述的問題是一個類不平衡問題。一個偉大的關於這一主題的論文是一項係統的研究在卷積神經網絡類不平衡問題。一般來說,它調用了類不平衡所帶來的影響是相當高,過采樣是當前占主導地位的機製來解決這個問題。