我們有DLT管道和我們需要導入自定義庫打包在輪文件。
我們在Azure DBX和我們使用Az DevOps CI / CD來構建和部署輪包在我們的DBX的環境。
在頂部的DLT筆記本我們導入輪包如下
% pip安裝/ dbfs /圖書館/ whls / {wheel_file_name} .whl
在管道的執行我們得到以下錯誤
CalledProcessError:命令的pip——disable-pip-version-check安裝/ dbfs /圖書館/ whls / {wheel_file_name}。whl '返回非零退出狀態1,沒有,地圖(),地圖(),列表(),列表(),Map ())
從日誌您可以看到文件無法訪問:
Python解釋器將重新啟動。警告:要求' / dbfs /圖書館/ whls / {wheel_file_name}。whl的看起來像一個文件名,但文件不存在處理/ dbfs /圖書館/ whls / {wheel_file_name}。whl錯誤:無法安裝包由於OSError: [Errno 2]沒有這樣的文件或目錄:/ dbfs /圖書館/ whls / {wheel_file_name} .whl '
知道文件已經存在,當檢查從DBFS探索UI屏幕。
我們試圖列出可用的文件夾和文件訪問的DLT管道節點,我們得到了如下:
文件根目錄:[‘mnt’,‘tmp’,‘local_disk0’,‘dbfs’,“卷”,“工作區”。]根/ dbfs目錄中的文件:[]
你可以看到dbfs看起來空空如也,它不包含任何文件夾或文件,我們可以看到從dbfs explorer和訪問ui門戶。
卷和工作區文件可以從管道,但是:
——上傳卷給錯誤上傳沒有額外的細節了解的問題,甚至從UI手動上傳
-工作區/共享……:文件訪問,但它不是工作的問題與CI / CD管道自動推輪文件從那裏,所以我們需要手動上傳。
任何想法,我們如何克服這一點,並且能夠通過Azure DevOps輪文件上傳到DBX環境和能夠導入它們在我們的DLT管道?
