管道附件

三角洲生活表支持在你的管道外部依賴。磚建議安裝Python包使用兩種模式:

  1. 使用%皮普安裝命令來安裝包管道中的所有源文件。

  2. 從源代碼導入模塊或庫存儲在工作區文件。看到從工作區文件導入Python模塊

三角洲生活表還支持使用全球和集群級init腳本。然而,這些外部依賴,尤其是init腳本,增加運行時問題的風險升級。為了減輕這些風險,減少在管道中使用init腳本。如果你的處理需要init腳本,自動化測試的管道提前發現問題。如果你使用init腳本,磚建議增加測試頻率。

Python庫

指定外部Python庫,使用%皮普安裝神奇的命令。當一個更新開始,δ生活表包含一個運行所有細胞%皮普安裝命令在運行任何表定義。每個Python筆記本包含在管道能夠訪問所有已安裝的庫。下麵的示例安裝numpy庫,使其在全球範圍內提供給任何Python筆記本管道:

%皮普安裝numpy進口numpy作為np

安裝一個Python輪包,添加輪路徑%皮普安裝命令。安裝Python輪包可用於管道中的所有表。下麵的示例安裝輪子命名dltfns - 1.0 - py3 any.whl——沒有從DBFS目錄/ dbfs / dlt /:

%皮普安裝/dbfs/dlt/dltfns- - - - - -1.0- - - - - -py3- - - - - -沒有一個- - - - - -任何whl

看到與% pip安裝輪子包

我可以用Scala或Java庫三角洲住表管道嗎?

不,三角洲住表隻支持SQL和Python。你不能使用JVM庫管道。安裝JVM庫將會導致不可預測的行為,可能與未來三角洲生活表版本。