在集群工作未能添加S3 init腳本

[User16752239289]

我使用下麵負載提交工作,包括init腳本保存在S3。實例配置文件和init腳本在集群互動。但是當我搬到集群init腳本不能配置工作。

{" new_cluster ": {“spark_version”:“8.0.x-scala2.12”、“spark_conf”: {“spark.databricks.repl。allowedLanguages”:“python, sql“}”aws_attributes ": {“instance_profile_arn”:“<我實例配置文件>”},“init_scripts”: [{“s3”:{“目的地”:“s3: / / <我桶> / init。sh "}}),”instance_pool_id”:“id > <池”、“自動定量”:{“min_workers”: 2,“max_workers”: 6}},“notebook_task”: {“notebook_path”:“<我的筆記本> "}}

[User16752239289 · Accepted solution]

這是由於該地區失蹤。init腳本保存在S3,該地區字段是必需的。init腳本部分應該像下圖:

“init_scripts”: [{“s3”:{“目的地”:“s3: / / <我桶> / init。sh”、“地區”:““}})

注意,區域價值可以是空的”“或你想要的特定區域配置。