你好,
我們使用的是Azure磚與標準DS14_V2集群運行時9.1 LTS,火花3.1.2和Scala 2.12和麵臨著以下的問題經常在運行我們的ETL管道。作為操作的一部分失敗有幾個連接發生在三角洲表和被寫入另一個三角洲的輸出表。
早些時候報道也有類似的問題,是固定的9.0 DB運行時(不支持)(火花- 34000):ExecutorAllocationListener java.util拋出一個異常。NoSuchElementException, ASF……
這裏的文檔:磚9.0運行時(不支持)——Azure磚|微軟文檔
以下異常是一個無關的問題的在上麵提到的bug報告和我應該日誌記錄的另一個錯誤這是固定的嗎?我們正麵臨這個問題每隔幾個日常工作的運行。任何幫助或指針將不勝感激
這是異常堆棧跟蹤:我已經上傳一個文件,完整的堆棧跟蹤,因為大小限製
調用o74209.insertInto時發生一個錯誤。
:java.util。NoSuchElementException:關鍵不是發現:項目(# 1 # 0時,# 4,#沒有18 # 1,# 13,沒有# 12 # 3,當isnull(沒有# 19)-25567其他演員(gettimestamp (yyyy-MM-dd沒有# 19日,一些(等/ UTC),假)日期)# 2,#沒有20歲,沒有# 0 # 3,(沒有# 3 = "),# 4)
+ -關係(# 0,沒有問題# 1,# 2,# 3,# 4,# 5,# 6,# 7,# 8,# 9,10 #,# 11,12 #,# 13,沒有# 14,沒有# 15,沒有# 16日沒有# 17日沒有# 18日沒有# 19日20 #,# 21歲,沒有一個沒有# 22日沒有# 23日……5多個字段)拚花
scala.collection.MapLike.default (MapLike.scala: 235)
在scala.collection.MapLike.default (MapLike.scala: 234美元)
scala.collection.AbstractMap.default (Map.scala: 63)
scala.collection.MapLike.apply (MapLike.scala: 144)
在scala.collection.MapLike.apply (MapLike.scala: 143美元)
scala.collection.AbstractMap.apply (Map.scala: 63)
在com.databricks.sql.transaction.tahoe.stats.PrepareDeltaScan anonfun prepareDeltaScanParallel美元1.美元applyorelse (PrepareDeltaScan.scala: 229)
在com.databricks.sql.transaction.tahoe.stats.PrepareDeltaScan anonfun prepareDeltaScanParallel美元1.美元applyorelse (PrepareDeltaScan.scala: 227)
org.apache.spark.sql.catalyst.plans.QueryPlan立刻2.美元美元申請(QueryPlan.scala: 545)
org.apache.spark.sql.catalyst.plans.QueryPlan立刻2.美元美元申請(QueryPlan.scala: 541)
scala.PartialFunction.applyOrElse (PartialFunction.scala: 127)
在scala.PartialFunction.applyOrElse (PartialFunction.scala: 126美元)
在另一次2.美元美元org.apache.spark.sql.catalyst.plans.QueryPlan applyorelse (QueryPlan.scala: 541)
在org.apache.spark.sql.catalyst.trees.TreeNode。anonfun transformDownWithPruning美元1美元(TreeNode.scala: 484)
org.apache.spark.sql.catalyst.trees.CurrentOrigin .withOrigin美元(TreeNode.scala: 86)
org.apache.spark.sql.catalyst.trees.TreeNode.transformDownWithPruning (TreeNode.scala: 484)
在org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.org apache火花sql催化劑美元美元計劃邏輯AnalysisHelper超級美元美元美元transformDownWithPruning (LogicalPlan.scala: 29)
感謝和問候,
語
