(遺留)庫工具(dbutils.library)
請注意
dbutils.library.install和dbutils.library.installPyPIapi是移除在磚運行時11.0及以上。大多數圖書館工具命令棄用。大多數圖書館事業不是磚上可用的運行時毫升。信息dbutils.library.restartPython,請參閱重新啟動Python程序數據磚。
這個文檔已經退休了,可能不會被更新。產品、服務或技術中提到的這些內容不再支持。
磚強烈建議使用%皮普神奇的命令安裝notebook-scoped庫。看到Notebook-scoped Python庫。
完整的文檔數據磚實用程序功能,請參閱磚公用事業。
命令:安裝,installPyPI,列表,restartPython),updateCondaEnv
圖書館實用程序允許您安裝Python庫和創造一個環境筆記本會話作用域。圖書館對司機和執行者都是可用的,所以你可以在用戶定義函數中引用它們。這使得:
庫依賴關係的筆記本是筆記本內部組織。
筆記本用戶提供不同的庫依賴關係來分享一個集群沒有幹擾。
分離一個筆記本破壞了這個環境。然而,你可以通過重新運行庫重新創建它安裝API命令在筆記本上。看到restartPythonAPI如何重置你的筆記本狀態而不喪失您的環境。
圖書館事業是默認啟用。因此,默認情況下每個筆記本孤立使用的Python環境創建一個單獨的Python可執行,當筆記本連接到集群和繼承默認Python環境。庫安裝在一個init腳本到磚Python環境中仍然可用。你可以禁用這個特性通過設置spark.databricks.libraryIsolation.enabled來假。
這個API兼容現有的集群範圍的圖書館通過安裝用戶界麵和庫API。通過這個API庫安裝更高的優先級比整個集群範圍的庫。
列出可用的命令,運行dbutils.library.help ()。
安裝(路徑:字符串):布爾- >安裝庫在當前會話installPyPI筆記本(pypiPackage:字符串,版本:字符串= " ",回購:字符串= " ",臨時演員:字符串= " "):布爾- >安裝PyPI圖書館在當前筆記本會話列表:列表- >隔離庫添加當前筆記本會話通過dbutils restartPython:空白- >啟動python程序當前筆記本會話updateCondaEnv (envYmlContent: String):布爾- >更新當前筆記本Conda環境規範(內容的基礎上的環境
安裝命令(dbutils.library.install)
對於一個給定路徑的庫,安裝,圖書館在當前筆記本會話。庫安裝通過調用這個命令隻提供給當前的筆記本。
顯示幫助這個命令,運行dbutils.library.help(“安裝”)。
這個例子中安裝一個.egg或.whl圖書館在一個筆記本上。
重要的
dbutils.library.install刪除在磚運行時11.0及以上。
磚建議你把所有你的圖書館安裝命令的第一個細胞筆記本和電話restartPython最後的細胞。Python筆記本狀態複位後運行restartPython;筆記本失去所有國家包括但不限於局部變量,導入庫和其他臨時狀態。因此,我們建議您安裝庫和重置筆記本狀態第一個筆記本電池。
公認的圖書館資源dbfs和s3。
dbutils。圖書館。安裝(“dbfs: /道路/ /你/ library.egg”)dbutils。圖書館。restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。
dbutils。圖書館。安裝(“dbfs: /道路/ /你/ library.whl”)dbutils。圖書館。restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。
請注意
你可以直接安裝使用自定義輪文件%皮普。在下麵的例子中,我們假設您已經上傳你的圖書館輪DBFS文件:
%皮普安裝/dbfs/路徑/來/你的/圖書館。whl
蛋皮普不支持的文件,車輪被認為是標準的構建和二進製為Python包裝。看到輪與蛋為更多的細節。然而,如果您想要使用一個雞蛋文件的兼容%皮普,您可以使用以下方法:
#這一步是隻需要如果沒有% pip命令運行。#將觸發設置隔離的筆記本電腦環境%皮普安裝<任何- - - - - -自由>#這並不需要一個真正的圖書館;例如“% pip安裝any-lib”工作
進口sys#如果前麵的步驟已經完成,下麵的命令#將雞蛋文件添加到當前的筆記本電腦環境sys。路徑。附加(“/地方/道路/ / library.egg”)
installPyPI命令(dbutils.library.installPyPI)
給定一個Python包指數(PyPI)包,安裝,包在當前筆記本會話。通過調用這個命令庫安裝在筆記本電腦中孤立。
顯示幫助這個命令,運行dbutils.library.help (“installPyPI”)。
這個示例安裝PyPI包在一個筆記本上。版本,回購,臨時演員是可選的。使用臨時演員參數指定額外的功能(額外的需求)。
dbutils。圖書館。installPyPI(“pypipackage”,版本=“版本”,回購=“回購”,臨時演員=“臨時演員”)dbutils。圖書館。restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。
重要的
dbutils.library.installPyPI刪除在磚運行時11.0及以上。
的版本和臨時演員鑰匙不能PyPI包字符串的一部分。例如:dbutils.library.installPyPI (“azureml-sdk(磚)= = 1.19.0”)不是有效的。使用版本和臨時演員參數指定的版本和額外的信息如下:
dbutils。圖書館。installPyPI(“azureml-sdk”,版本=“1.19.0”,臨時演員=“磚”)dbutils。圖書館。restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。
請注意
當更換dbutils.library.installPyPI命令與%皮普命令,Python解釋器自動重啟。您可以運行安裝命令如下:
%皮普安裝azureml- - - - - -sdk(磚]= =1.19.0
本例中指定庫需求在一個筆記本,並通過使用安裝它們運行%在另一個。要做到這一點,首先定義庫安裝在一個筆記本上。這個例子使用一個筆記本InstallDependencies。
dbutils。圖書館。installPyPI(“火炬”)dbutils。圖書館。installPyPI(“scikit-learn”,版本=“1.19.1”)dbutils。圖書館。installPyPI(“azureml-sdk”,臨時演員=“磚”)dbutils。圖書館。restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。
然後在筆記本上安裝它們,需要這些依賴關係。
% /路徑/ / InstallDependencies運行#安裝在第一個單元格的依賴關係。
進口火炬從sklearn.linear_model進口LinearRegression進口azureml…
這個例子重置Python筆記本狀態,同時保持環境。這種技術隻能在Python筆記本。例如,您可以使用這種技術來重新加載庫磚預裝有不同的版本:
dbutils。圖書館。installPyPI(“numpy”,版本=“1.15.4”)dbutils。圖書館。restartPython()
#確保你在另一個細胞開始使用圖書館。進口numpy
您還可以使用該技術安裝庫tensorflow等需要加載過程啟動:
dbutils。圖書館。installPyPI(“tensorflow”)dbutils。圖書館。restartPython()
#使用圖書館在另一個細胞。進口tensorflow