我在為我的工作使用定製的碼頭工人的形象。這是我的碼頭工人文件:
從databricksruntime /標準:12.2 lts副本。。運行/磚/ python3 / bin / pip安裝- u pip運行/磚/ python3 / bin / pip安裝- r的要求。三種用戶根
使用池,我的工作是和第一我試著直接去工作- >計算- >高級- >碼頭工人,並把我的形象。但是不能用以下:
意想不到的用戶錯誤的集群在準備工作。原因:INVALID_PARAMETER_VALUE:目標實例池InstancePoolId (xxxxx)沒有碼頭工人配置圖片,因此不支持集群和碼頭工人創造形象。請更新您的集群屬性或創建一個單獨的實例池碼頭工人形象集群。
所以我試圖創建一個新的通用集群定義了我的自定義圖像後,當集群正在初始化失敗的錯誤:
23/07/25 13:40:48錯誤DriverDaemon美元:stderr: /磚/ /腳本/ setup_container_iptables_rules火花。承憲:第32行:iptables命令沒有找到23/07/25 13:40:48錯誤DriverDaemon $: XXX致命的異常。終端驅動程序。org.apache.spark.api.python。PythonSecurityException:未能跑:“啟用iptables限製對Python的
任何建議嗎?
