工作區中的一個文件夾給我大約100 + pyspark腳本,這些腳本在運行主程序前需要被編譯。為了編譯這些文件,我們使用%魔法運行命令% . . /刺激/ netSales運行。因為我們有100 +這樣的文件,我們寫了100 +魔法命令像筆記本編譯所有100 +文件。
問題是,有什麼辦法可以編譯亞行的工作區中所有的文件在一個文件夾而不是一個接一個?有什麼可用迭代方法通過eah文件並編譯它。
工作區中的問題是,您可以列出所有文件隻比您可以運行通過API調用和每一個人使用:
dbutils.notebook.run ()
這是腳本列表文件從工作區(可能需要添加一些filterning):
導入請求ctx = dbutils.notebook.entry_point.getDbutils () .notebook () .getContext () host_name = ctx.tags () . get (" browserHostName ") . get () host_token = ctx.apiToken = () . get()響應請求。帖子(f 'https: / / {host_name} / api / 2.0 /工作區/列表”,標題={“授權”:f 'Bearer {host_token}’}, data ={“路徑”:“<路徑>”}). json ()
工作區中的問題是,您可以列出所有文件隻比您可以運行通過API調用和每一個人使用:
dbutils.notebook.run ()
這是腳本列表文件從工作區(可能需要添加一些filterning):
導入請求ctx = dbutils.notebook.entry_point.getDbutils () .notebook () .getContext () host_name = ctx.tags () . get (" browserHostName ") . get () host_token = ctx.apiToken = () . get()響應請求。帖子(f 'https: / / {host_name} / api / 2.0 /工作區/列表”,標題={“授權”:f 'Bearer {host_token}’}, data ={“路徑”:“<路徑>”}). json ()
你使用什麼分銷(社區,Azure) ?所以我將更新代碼很老了