介紹磚運行時5.4 Conda(β)
我們引入一個新的運行時感到興奮:磚運行時5.4 Conda(β)。這個運行時使用Conda管理Python庫和環境。我們的許多Python用戶更傾向於管理與Conda Python環境和圖書館,迅速成為一個標準。Conda需要一個全麵的方法來管理包通過啟用:
- 的創建和管理環境
- 安裝Python包
- 容易可再生的環境
- 與皮普的兼容性
因此我們高興地宣布,你現在可以得到一個完全基於Conda運行時。它被發布的“Beta”的標簽,因為它僅用於實驗用途,沒有生產工作負載。這個設計為我們提供了一個機會來收集客戶反饋。與Conda磚運行時的成熟,我們打算讓Conda所有Python用戶的默認包管理器。
開始,選擇磚運行時5.4 Conda(β)從下拉列表中創建一個新的集群在磚。按照說明你鼠標經過時顯示問號選擇其中一個預配置環境:標準(默認)或最小。
為什麼磚與Conda運行時
Conda是一個開源包&環境管理體係。由於其廣泛的支持和靈活性,Conda成為開發人員之間的標準來管理Python包。作為一個環境經理,它使用戶能夠輕鬆地創建、保存加載和Python環境之間切換。我們一直使用Conda管理Python庫磚運行時機器學習,收到積極的反饋。與磚運行時Conda(β),我們擴展Conda服務更多的用例。
對於Python開發人員,安裝了所需的庫的創建一個環境是第一步。特別是,機器學習領域的迅速發展,新的工具和庫在Python中新興和經常更新。建立一個可靠的環境提出了挑戰,比如版本衝突,依賴問題,和環境的再現性。創建Conda來解決這個問題。通過結合環境和安裝成一個單一的框架,開發人員可以很容易地和可靠地建立圖書館在一個孤立的環境中。建設一流的磚Conda支持運行時顯著提高開發人員的生產力和數據科學家團隊。
我們統一分析平台提供各種各樣的用戶和經驗水平Beplay体育安卓版本。我們讓用戶從SAS或R遷移到Python但仍然是新的Python Python專家。我們的目的是使管理您的Python環境盡可能簡單。在服務,我們提供:
- 多個健壯的預配置的環境中,每個服務不同的用例
- 一個簡單的方法來定製環境
- 易用性和靈活性管理、共享和創造環境在不同級別的磚產品(工作區、集群和筆記本)
我們不僅想讓它很容易為你開始在磚,但也很容易將Python代碼開發其他地方遷移到磚。與Conda磚5.4運行時(β),你可以把代碼,隨著需求文件(requirement.txt)從GitHub, Jupyter筆記本或者其他數據科學IDE磚。一切都應該工作的。作為一名開發人員,您可以花費很少的時間來擔心管理庫,並把你的時間集中在開發應用程序。
什麼磚運行時Conda 5.4(β)提供
磚運行時5.4 Conda(β)提高靈活性在以下方麵:
提高預配置環境
- 我們致力於提供預配置的環境與流行的Python庫安裝。在磚5.4運行時Conda(β),我們介紹兩個配置環境:標準和最小(Azure|AWS)。在這兩種環境中,我們升級Python庫庫,而磚運行時(Azure|AWS)
- 磚運行時5.4 Conda(β)允許您使用Conda安裝Python包。如果你想安裝圖書館,你將受益於Conda提供的支持。請參閱用戶指南(Azure|AWS)學習如何使用Conda安裝包
- 我們利用水蟒分布5.3.1
- 我們升級到Python 3.7
容易定製的環境
- 磚運行時5.4 Conda(β)使您可以輕鬆地定製您的Python環境。您可以定義您的環境需要在需求文件(讓),上傳到DBFS,然後使用
dbutils.library.install在一個筆記本構建定製的環境。你不再需要安裝庫。 - 你可以找到樣品需求文件和指令定製環境用戶指南(Azure|AWS)
環境的再現性
- 在磚5.4運行時Conda(β),每個筆記本可以有一個孤立的Python環境,減輕在筆記本包衝突。
- 您可以使用
讓輕鬆地複製一個環境,一個筆記本。
運行時我應該選哪一個
在未來,Conda磚運行時將標準的運行時。然而,隨著β祭,磚與Conda運行時用於實驗用途,不適合生產工作負載。下麵是一些指導方針來幫助你選擇一個運行時:
磚運行時:我們鼓勵磚運行時的用戶需要穩定繼續使用磚運行時。
磚運行時ML:我們鼓勵磚運行時ML的用戶不需要定製環境繼續使用磚運行時毫升。
磚與Conda運行時:磚5.4運行時Conda(β)提供了兩個Conda-based,預配置根環境標準和最小,為不同的用例。
- 標準環境:默認的環境(Azure|AWS)。在創建集群,您選擇了磚運行時5.4 Conda(β)磚的運行時版本的下拉列表。旨在為磚運行時的用戶來說,標準的環境提供了一個現成的環境通過預裝基於使用流行的python包。一些基本的Python庫升級標準環境。我們鼓勵用戶數據磚運行時需要這些Python庫升級嚐試標準環境。
- 最小的環境:包括一個最小集合庫運行Python筆記本和PySpark磚(Azure|AWS)。這光環境設計定製。我們鼓勵Python用戶需要定製自己的Python環境但是遇到依賴衝突與標準環境嚐試最小環境。
使用最少的環境中,您選擇與Conda磚5.4運行時磚的運行時版本的下拉列表。然後按照說明複製粘貼DATABRICKS_ROOT_CONDA_ENV = databricks-minimal來高級選項>火花>環境變量,可以發現底部的創建集群頁麵(見下文)。在接下來的版本中,我們將簡化這一步,讓你從一個下拉列表中選擇最小的環境。
期待在以後的版本中
在未來的版本中,我們計劃繼續改善與Conda磚三個關鍵用例運行時服務。
提高預配置環境
我們的最終目標是為所有三個統一創建集群運行時(磚運行時,磚運行時的ML,磚與Conda運行時)的無縫體驗。在產品成熟,我們希望有多個預先配置的環境服務不同的用例,包括機器學習的環境。此外,我們計劃改善用戶體驗,允許您選擇一個預先配置的環境與Conda磚運行時從一個下拉列表。最後,我們將繼續更新Python包以及蟒蛇分布。
容易定製的環境
我們計劃添加使用的支持environment.yml(環境與圖書館事業conda筆記本使用的文件。我們還計劃支持conda包安裝在圖書館事業在筆記本和cluster-installed庫。目前都使用PyPI。
簡單的再現性的環境
我們打算讓它很容易查看,修改和跨用戶共享環境參數。您可以保存一個環境工作區中的文件,輕鬆切換環境這樣相同的環境可以被複製到集群,集群的創建。
升級的Python庫與Conda磚5.4運行時(β)
預先安裝的包的列表,請在磚運行時Conda(β)在我們的發布說明(Azure|AWS)。