自定義未能initalize碼頭工人形象

[matanper]

我在為我的工作使用定製的碼頭工人的形象。這是我的碼頭工人文件:

從databricksruntime /標準:12.2 lts副本。。運行/磚/ python3 / bin / pip安裝- u pip運行/磚/ python3 / bin / pip安裝- r的要求。三種用戶根

使用池,我的工作是和第一我試著直接去工作- >計算- >高級- >碼頭工人,並把我的形象。但是不能用以下:

意想不到的用戶錯誤的集群在準備工作。原因:INVALID_PARAMETER_VALUE:目標實例池InstancePoolId (xxxxx)沒有碼頭工人配置圖片,因此不支持集群和碼頭工人創造形象。請更新您的集群屬性或創建一個單獨的實例池碼頭工人形象集群。

所以我試圖創建一個新的通用集群定義了我的自定義圖像後,當集群正在初始化失敗的錯誤:

23/07/25 13:40:48錯誤DriverDaemon美元:stderr: /磚/ /腳本/ setup_container_iptables_rules火花。承憲:第32行:iptables命令沒有找到23/07/25 13:40:48錯誤DriverDaemon $: XXX致命的異常。終端驅動程序。org.apache.spark.api.python。PythonSecurityException:未能跑:“啟用iptables限製對Python的

任何建議嗎?

[Debayan]

你好,

你能請檢查如果需求滿足,https://docs.www.eheci.com/clusters/custom-containers.html需求。

同時,請嚐試通過API如果得到部署?

同時,按照錯誤看起來iptables圖像中啟用了python。(https://stackoverflow.com/questions/5891779/is-there-a-python-interface-to-iptables)。你能確認一下嗎?

請標記@Debayan與你的下一個評論會通知我。謝謝!

[matanper]

嘿@Debayan

1。我有磚容器服務啟用
2。“你的機器必須運行一個最近的碼頭工人守護進程”,我不確定我跟著這一個。磚是我管理一個機器在AWS上。

”請嚐試通過API如果得到部署?”- Do you refer to try the cluster initialization using the API? can you give me a reference for this one?

“看上去iptables圖像中啟用了python”——在標準和python的圖像,他們似乎失蹤iptables:

碼頭工人運行databricksruntime /標準:12.2 lts bash - c的iptables > bash: iptables:命令沒有找到碼頭工人運行databricksruntime / python: 12.2 lts bash - c的iptables > bash: iptables:命令沒有找到

[matanper]

看起來像“apt安裝iptables”可能工作運行,將會更新。但似乎奇怪的磚提供的基礎圖像不包含所需的所有可執行文件來運行。

[Debayan]

嗨,我認為,禁用iptables會更好在這種情況下,請您嚐試以下命令並確認嗎?

$ sudo iptables - s