介紹了下一代數據科學的工作區

通過克萊門斯Mewald,馬泰Zaharia和Cyrielle西蒙尼

2020年6月25日在公司博客上

分享這篇文章

在今天的火花+人工智能峰會2020年,我們推出了下一代的磚數據科學工作空間:一個開放的和統一的現代數據團隊的經驗。

現有的解決方案使數據團隊選擇從三個糟糕的選擇。給數據科學家的自由使用任何開源工具在他們的筆記本電腦上沒有提供一個明確的路徑生產和治理和合規風險。隻是雲托管這些工具解決一些數據的隱私和安全問題,但不生產提供一個清晰的路徑,也提高生產力和協作。最後,最健壯的、可伸縮的DevOps生產環境會阻礙創新和實驗數據科學家放緩下來。

下一代數據科學工作區磚導航這些權衡提供一個開放的和統一的現代數據團隊的經驗。具體地說,它將向您提供以下好處:

開放和協作筆記本在beplay娱乐ios一個安全的和可擴展的平台:Beplay体育安卓版本磚的前提是建立在開發人員的環境中需要開放和協作。beplay娱乐ios因為磚是根植於開源的,你選擇的工具提供在一個開放和協作平台能夠運行所有你在規模龐大的大數據分析的工作負載而幫助你滿足安全性和遵從性需求。beplay娱乐iosBeplay体育安卓版本與原生支持Jupyter筆記本格式,下一代數據科學工作區消除之間的權衡磚提供的開放標準和協作功能。beplay娱乐ios
最佳開發環境Git-based協作和再現性:這個行業已經利用健壯的代碼管理的最佳實踐在複雜的環境中,基於Git。我們進一步整合與Git生態係統平台,幫助把這些最佳實踐數據Beplay体育安卓版本工程和數據科學、再現性變得越來越重要。為了促進這種集成,我們引入一個新的概念叫做磚項目。這將允許數據團隊把所有項目依賴關係通過Git存儲庫同步。
低摩擦CI / CD管道從實驗到生產部署:新的API基於上述表麵Git-based項目功能,我們引入新的功能更無縫集成開發工作流自動化CI / CD管道。這將允許數據團隊采取科學和ML代碼從實驗到生產更快,利用可伸縮的生產工作,MLflow模型注冊表和新模式服務功能——所有在一個開放和統一的平台上,可以擴展以滿足任何用例。Beplay体育安卓版本

我們非常興奮並將這些創意帶到統一數據分析平台。Beplay体育安卓版本在過去的幾年裏,我們不斷聚集來自成千上萬的用戶的反饋來幫助塑造我們的路線圖和設計這些特性。為了啟用這個新體驗,我們將發布新功能階段,如下所述。

看火花+人工智能峰會主題演講

可在預覽:Git-based磚項目

首先,我們引入一個新的Git-based能力叫磚項目幫助數據團隊跟蹤所有項目依賴項包括筆記本、代碼、數據文件、參數,並通過Git存儲庫庫依賴關係(支持Azure DevOps, GitHub BitBucket都以及新增支持GitLab和這些Git的本地企業/服務器產品供應商)。

磚項目允許從業者的磚上創建新的或克隆現有Git存儲庫進行他們的工作,快速的最新實驗數據,方便地訪問他們需要的可伸縮的計算資源來完成他們的工作,同時滿足安全性和遵從性需求。

圖1:磚項目允許數據團隊快速創建作為一個項目或克隆現有Git存儲庫。

這也意味著,探索性數據分析、建模實驗和代碼審查可以通過一個健壯的、合作的和可再生的方法。beplay娱乐ios簡單地創建一個新的分支,編輯代碼在開放和協作筆記本,承諾,推動改變。beplay娱乐ios

玩這個視頻,請點擊這裏,接受餅幹

圖2:Databrick Git-based項目的新對話框允許開發者之間切換分支,創建新的分支,將改變從一個遠程存儲庫,階段文件,承諾,推動改變。

此外,這也將有助於加速從實驗到生產的路徑通過啟用數據工程師和科學家們遵循最佳實踐代碼版本控製和CI / CD。作為新項目的一部分功能,一套新的api允許開發者建立健壯的自動化數據科學和ML代碼從實驗到生產速度更快。

圖3:Git-based項目和相關的api,新磚數據科學的工作區使路徑從實驗到生產更容易,更快和更可靠。

因此,設置CI / CD管道管道管理數據,使關鍵的儀表板,或反複訓練和部署新的ML模式生產從來沒有這種無縫的。數據工程師和科學家使用Git-based項目特性確保交付給他們的代碼存儲庫在一個簡單的和及時,Git自動化可以接,提高生產係統的可靠性和可用性通過執行測試代碼部署到生產環境之前項目磚。

這使得各種用例,執行探索性數據分析,根據最近的數據集創建儀表板,模型和部署他們批培訓毫升、流或實時推理——所有在一個開放的和統一的平台,可以擴展到滿足要求的業務需求。Beplay体育安卓版本

即將到來:項目範圍與Conda環境配置

Git-based交叉的項目和環境管理是能夠存儲環境配置和代碼。我們會把磚為機器學習與項目運行時自動檢測存在的環境配置文件(例如,需求。txt或conda.yml)和激活一個環境局限於您的項目。這意味著,你將不再需要擔心安裝庫依賴關係,如NumPy、自己。

圖4:磚之間的集成運行時和項目允許數據團隊自動檢測環境規範的文件(如讓)和安裝庫依賴關係。

超越你使用你的筆記本電腦,磚確保,一旦為你的項目創建一個環境,所有工人的自動定量集群始終啟用了相同的環境。

即將到來:磚筆記本的編輯器支持Jupyter筆記本

磚筆記本的編輯器已經提供了協作功能,如co-presence, co-editing和評論,所有beplay娱乐ios原生雲開發環境中的訪問控製管理和最高的安全標準。統一數據團隊,磚筆記本的編輯器還支持Python編程語言之間的切換,R, SQL和Scala,所有在同一筆記本。今天,磚筆記本的編輯器使用成千上萬的數據工程師、科學家和機器學習工程師日常的數據。

帶來的實際好處磚筆記本編輯器來更廣泛的受眾,我們將支持Jupyter筆記本原生格式在磚上,為您提供能夠編輯Jupyter筆記本直接在磚筆記本的編輯器。因此,你將不再有協作特性和開源標準比如Jupyter之間的權衡。beplay娱乐ios

圖5:支持開放Jupyter筆記本與磚筆記本提供數據編輯團隊協作特性標準文件格式beplay娱乐ios。