問題
即使啟用了存儲自動伸縮,由於磁盤上空間不足,數據庫作業也會失敗。
在查看集群事件日誌時,您將看到一條消息,說明實例擴容磁盤失敗由於授權錯誤。
實例i-xxxxxxxxx擴容磁盤失敗,原因如下:您沒有執行該操作的權限。編碼授權失敗消息:xxxxx(服務:AmazonEC2;狀態代碼:403;錯誤碼:UnauthorizedOperation;Request ID: xxxxxx). Current size: 98.30 GB當前可用空間:8.89 GB。
導致
工作空間的底層AWS帳戶沒有允許Databricks將EBS卷附加到實例並在集群終止後刪除它的正確權限。
解決方案
您必須向Databricks工作空間部署IAM角色添加以下權限。
ec2:AttachVolume ec2:CreateVolume ec2:DeleteVolume ec2:DescribeVolumes
Databricks工作區部署IAM角色可以通過登錄賬戶控製台並導航到AWS帳戶選項卡。