問題
你正在使用AssumeRole在另一個帳戶中發送集群日誌到S3桶,您將得到一個訪問拒絕錯誤。
導致
AssumeRole不允許將集群日誌發送到其他帳戶的S3桶。
這是因為日誌守護進程運行在主機上。它不在容器內運行。
隻有在容器內運行的項目才能訪問Apache Spark配置。這是必需的AssumeRole正確工作。
解決方案
您可以通過以下兩種方式之一來實現類似的結果。
- 您可以使用跨帳戶桶策略,將日誌發送到另一個帳戶的S3桶。
- 可以使用具有寫權限的角色將目標S3桶掛載到DBFS上。指定此路徑作為日誌傳遞目的地。