插入查詢失敗與錯誤”查詢不是因為它試圖執行發射任務* * * * *在一個單一的階段,而最大允許任務一個查詢可以發射100000;

[shan_chandra]

Py4JJavaError:調用o236.sql時發生一個錯誤。:org.apache.spark。SparkException:工作中止。org.apache.spark.sql.execution.datasources.FileFormatWriter .write美元(FileFormatWriter.scala: 201) org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand.run (InsertIntoHadoopFsRelationCommand.scala: 192)造成的:java . util . concurrent。ExecutionException: org.apache.spark。SparkException:查詢不是因為它試圖發射390944執行任務在一個單一的階段,而最大允許任務一個查詢可以發射100000;這個限製可以修改配置參數“spark.databricks.queryWatchdog.maxQueryTasks”。

請找到的總結錯誤堆棧跟蹤。你能讓我們知道如何解決這個問題?

[shan_chandra · Accepted solution]

請增加以下配置(在集群級別)到一個更高的價值或者將其設置為零

spark.databricks.queryWatchdog。maxQueryTasks 0

火花配置雖然緩解了這個問題。