可伸縮的端到端深度學習使用TensorFlow™和磚:按需網絡研討會和FAQ現在可用!
7月9日,我們的團隊舉辦了一個研討會——生活可伸縮的端到端深度學習使用TensorFlow™和磚數據科學解決方案顧問——布魯克•維尼希磚和Sid默奇,軟件工程師在磚。
在這個網絡研討會中,我們介紹如何使用TensorFlow™和Horovod(一個開源的庫從超級簡化分布式模型訓練)上磚統一分析平台Beplay体育安卓版本建立一個更有效的推薦係統規模。
特別是,我們介紹一些新推出的功能來簡化分布式深度學習:
- 的毫升的新磚運行時,附帶預裝庫Keras等Tensorflow Horovod和XGBoost啟用數據科學家開始使用分布式機器學習更快
- 新發布的磚HorovodEstimator API對分布式,multi-GPU培訓深度學習模型對數據在Apache引發™
- 如何在規模做出預測與深度學習管道
如果你錯過了會議,你可以視圖它現在。同時,我們演示了以下筆記本:
如果你想免費獲取磚統一分析平台Beplay体育安卓版本並嚐試我們的筆記本,你可以訪問在這裏免費試用。
到最後,我們舉行了一個問答環節,下麵是所有的問題和答案。你也可以給我們提供你的反饋在這個研討會通過填寫這個簡短的調查,這樣我們可以繼續提高你的經驗!
問:你能執行在TensorFlow hyper-parameter優化模型的分布式方式?
有很多方法可以做到這一點,包括但不限於:
- 火車多個單節點模型在並行集群(即每台機器的一個模型),或
- 啟動多個分布式訓練工作和做一個網格搜索這些分布式訓練工作。
在什麼方麵HorovodEstimator支持,我們正在探索添加功能與MLlib的本地調試api,這樣您就可以開球超參數優化通過多個分布式訓練工作。
另外,深度學習管道(一個開源庫從磚)允許並行hyperparameter調單節點Keras模型的圖像數據。
問:ALS代表什麼?
ALS代表交替最小二乘法。這是一個用於協同過濾技術。beplay娱乐ios您可以了解更多關於它的實現在Apache火花在這裏。
問:在你的演示使用了多少服務器?有多少核心?
這是我們為這個演示配置:
- 磚的運行時版本:4.1毫升β
- Python版本:3
- i3。x大工人司機(1 + 2)
問:每個本地機器上的數據複製嗎?每個工人節點使用的所有數據在訓練嗎?
獨特的子集訓練數據複製到每台機器的本地磁盤,所以每個工人節點列車數據的一個獨特的子集。在一個單一的訓練步驟,每個工人處理一批訓練數據,計算梯度,然後平均使用Horovod ring-allreduce功能和應用到模型。
問:你比較dist-keras和Horovod怎麼樣?
Dist-keras是另一個開放源代碼框架培訓Keras模型在火花Dataframe以分布式的方式,也是一個很好的解決方案培訓Keras模型。與我們合作。Horovod我們喜歡的事情之一是,它與基準來自超級,超級在生產中使用。因此我們決定建造HorovodEstimatorHorovod周圍,由於使用的是大型工業公司,並將支持前進。
問:單台機器多久訓練與分布式訓練嗎?
這是一個很好的問題,通常有許多因素影響性能相比單機和分布式訓練。從交流梯度更新分布式訓練帶來的通信開銷,但是也允許加速訓練數據的批量處理在機器上並行。與HorovodEstimator還有一個固定的啟動成本寫輸入火花DataFrame TFRecord格式的本地磁盤集群節點。我們的建議是先試試單機訓練,探索分布式訓練隻有單機訓練不充分。
問:嗨,謝謝你的談話。這是一個偉大的筆記本的場景,但在多個數據的一個科學家小組工作在不同數據集在不同的實驗,你有跟蹤功能?你支持什麼其他協作功能beplay娱乐ios?
這是一個很好的問題!我們最近宣布一個新的開源項目MLflow隻是。MLflow,從業者可以跨框架包和重用模型,跟蹤和分享實驗在本地或在雲中,幾乎在任何地方都和部署模型。此外,磚為Python或R提供共享筆記本的發展也支持跟蹤更改和GitHub版本曆史。
馬泰Zaharia的博客文章的閱讀MLflow 0.2版本最新更新的這個倡議,加入我們即將到來的會議8月30日與馬泰Zaharia了解更多信息。
問:我沒有太多的數據和我使用LSTM模型和TensorFlow。你還推薦我磚和Apache的火花嗎?
Apache火花是偉大的為任何類型的分布式訓練或ETL、統一數據處理與機器學習,但仍然需要努力被安裝,配置和維護。磚給你一個靈活的方式來運行工作從單一節點到多個節點用例在Apache火花。你可以很容易地添加更多的節點集群,通過單擊一個按鈕。磚統一在一個地方所有的分析,這樣你也可以準備幹淨的數據集訓練您的模型。磚運行時附帶TensorFlow預安裝和預配置的,連同Keras Horovod,而且XGBoost, scikit-learn等等……給你最大的選擇和靈活性來構建和訓練毫升模型。最後但並非最不重要,磚筆記本電腦提供一個協作環境來管理整個生命周期在一個地方,從數據準備、培訓和服務模beplay娱乐ios式。
問:你能訓練和HorovodEstimator二進製模式嗎?
是的。HorovodEstimator API簡單地運行任何TensorFlow代碼提供了一種針對大規模數據在分布式環境中,例如,包括二進製分類。
問:集群支持多租戶嗎?
是的,你可以有多個筆記本連接到集群,或者多個用戶在你的集群。你也可以管理集群的權限各級對磚最大的靈活性和安全性。
問:C阿我們分享網絡研討會後的腳本和幻燈片主持人嗎?
是的,你現在可以訪問筆記本。你隻需要將訓練集添加到你的磚工作區來運行這個筆記本。注冊一個14天的免費試用開始!
問:Apache火花和磚之間的區別是什麼?
磚統一分析平台Beplay体育安卓版本提供了一個版本的Apache火花AWS和Azure托管,等等。我們提供內置筆記本和api來管理和自動化分析在一個地方,Apache火花以及額外的優化,包括磚三角洲湖比Apache快100倍的火花在拚花,磚運行時為毫升,HorovodEstimator。我們也極大地簡化DevOps auto-config和伸縮的集群,並提供企業級安全特性和遵守HIPAA和SOC 2 2型認證平台。Beplay体育安卓版本