Azure磚新工作的集群庫安裝問題

[karthik_elavan]

親愛的團隊,

我們試圖從Azure安裝運行時庫數據工廠Azure磚和linkedservice,我們使用新工作集群旋轉筆記本執行python代碼。我們使用的第三方庫的先知,需要安裝在運行時執行。

所以我試圖添加自由

DBFS: DBFS / FileStore /罐/ / ephem-4.1.3-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64先知。whl DBFS: DBFS / FileStore /罐/ / ephem-4.1.3-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64先知。whl DBFS: DBFS / FileStore /罐/ / LunarCalendar-0.0.9-py2.py3-none-any.whl先知

我在Azure旋轉筆記本數據工廠將圖書館的附加選項。

下麵的問題拋出錯誤而運行的管道,

運行結果不可用:工作失敗與錯誤消息庫安裝失敗庫whl由於用戶錯誤:“dbfs:先知dbfs / FileStore /罐/ / setuptools_git - 1.2 - py2.py3 -沒有任何。whl”。錯誤消息:圖書館的司機節點集群上安裝嚐試1226 - 011209 mj643npw和失敗。請參考以下錯誤消息來解決圖書館或接觸磚的支持。錯誤代碼:DRIVER_LIBRARY_INSTALLATION_FAILURE。錯誤信息:com.google.common.util.concurrent.UncheckedExecutionException: java.lang.NullPointerException

[Aviral-Bhardwaj]

請用init腳本之後,分享你的觀察

https://docs.www.eheci.com/clusters/init-scripts.html

以上鏈接將幫助你

謝謝

Aviral Bhardwaj

[Meghala]

謝謝你我的經驗

[ramravi]

init腳本是很好的方法來處理依賴庫安裝在集群。

https://stackoverflow.com/questions/62516102/install-python-packages-using-init-scripts-in-a-databri..。