@David伯恩斯坦:錯誤消息你附加表明磚正試圖驗證使用穀歌的雲服務帳戶,但你正在使用Azure。這可能發生如果GOOGLE_APPLICATION_CREDENTIALS環境變量設置在你的磚集群和指向穀歌雲服務帳戶JSON文件。檢查環境變量設置你的磚集群。去您的集群配置頁麵的“高級”選項卡,尋找“環境變量”一節。確保GOOGLE_APPLICATION_CREDENTIALS
變量沒有設置或設置為一個JSON文件,屬於一個Azure服務主體。你能請檢查和confrim這已經排除了?
現在我添加了一些代碼來設置配置火花,oauth2.client。id。
這改變了錯誤信息附後。這個錯誤消息是令人沮喪的。請求什麼?經營什麼?什麼權限?
org.apache.spark.sql.streaming。StreamingQueryException:查詢sandbox_autoloader [id = eb65bca3 - 7 - d32 - 4392 a6ff f187803322b4 runId = a5031fb6 - 5 - e6d - 4071 - 8 e47 e9d4d810994e]終止與例外:操作失敗:“這個請求未被授權使用該權限執行該操作。”403頭,https://pallidustoolsupload.dfs.core.windows.net/albany/Sandbox/csv?upn=false&action=getStatus&timeo..。
在org.apache.spark.sql.execution.streaming.StreamExecution.org apache引發美元sql執行流StreamExecution $ $美元美元runStream (StreamExecution.scala: 382)
在org.apache.spark.sql.execution.streaming.StreamExecution不久美元1.美元運行(StreamExecution.scala: 251)