驅動程序上下文沒有找到python火花spark_submit_task使用API端點提交運行工作

[umarkhan]

我試圖運行一個多文件python在磚的工作不使用筆記本。我試過設置範圍:

• 創建一個使用碼頭工人形象DBRT 10.4 LTS作為基礎和添加壓縮python應用程序。
• 打電話到運行提交端點與有效載荷:

{"任務":{“task_key”:“test-run-8”、“spark_submit_task”:{“參數”:[”——py-files”、“/應用程序。郵政編碼”、“/ app.zip / __main__。py new_cluster“]}: {“num_workers”: 1、“spark_version”:“11.1.x-scala2.12”、“aws_attributes”: {“first_on_demand”: 1、“可用性”:“SPOT_WITH_FALLBACK”、“zone_id”:“us-west-2a”、“instance_profile_arn”:“<實例配置文件是>”,“spot_bid_price_percent”: 100年,“ebs_volume_count”: 0},“node_type_id”:“i3。超大”、“docker_image ": {" url ": " < aws-account-number >.dkr.ecr.us -西方- 2. - amazonaws.com/spark app:0.1.17“}}}}

應用程序試圖讀取JSON文件和加載新的三角洲湖表。不幸的是,這並不像預期的那樣工作。這就是我發現:

• 當我運行代碼在應用程序的一個筆記本,它工作正常
• 運行時使用端點的工作我沒有看到桌子上的磚UI
• 當檢查S3 bucket我確實看到一個文件夾創建數據庫和表的一些鑲花文件。
• 這個表上運行任何查詢失敗,沒有找到錯誤。
• 當檢查司機的日誌我看到以下:

…22/08/19 02:38:28警告DefaultTableOwnerAclClient:未能創建/刪除表時更新表的所有者。. lang。IllegalStateException:司機上下文沒有找到……

一些額外的注意事項:

• 我想可以使用碼頭工人形象對於我們的部署,如果可能的話,因為它匹配當前CI / CD模式
• spark_python_task失敗,我很好,但是我沒能得到這個工作,當我有多個python文件
• 我想避免使用筆記本電腦來部署應用程序。

任何幫助理解和修複這個錯誤會非常感激。

問候,

奧馬爾

[Kaniz]

嗨@Umar汗你啟用表訪問控製工作區嗎?

這是醫生:-https://docs.microsoft.com/en-us/azure/databricks/administration-guide/access-control/table-acl

[umarkhan]

你好@Kaniz開羅(磚),謝謝你的回應。不,沒有啟用訪問控製表。我理解這應該默認允許任何人訪問表。

此外,它幫助,我們使用AWS。

[Kaniz]

嗨@Umar汗,請啟用表ACL和讓我們知道是否有幫助。如果這個答案可以幫助您,請將它標記為最好的。

這是醫生:-https://docs.microsoft.com/en-us/azure/databricks/administration-guide/access-control/table-acl

[Vidula]

嗨@Umar汗

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!