工作-數據 - beplay体育赛事,Beplay体育安卓版本

區分活的和死的工作

在並發任務過多的集群上，經常會看到一些任務卡在Spark UI中沒有任何進展。這使得識別哪些是活動作業/階段，哪些是死亡作業/階段變得複雜。當集群上有太多的並發任務時，Spark內部的eventListenerBus…

最後更新:2022年5月10日通過亞當Pavlacka

Spark作業失敗，Driver暫時不可用

問題A Databricks筆記本返回如下錯誤:Driver is temporarily unavailable此問題可能是間歇性的，也可能不是。相關的錯誤消息是:與集群失去連接。筆記本可能被拆開了。造成此錯誤的一個常見原因是驅動程序正在經曆內存瓶頸。當這種情況發生時，司機會尖叫…

最後更新:2022年5月10日通過亞當Pavlacka

運行以下命令刪除Databricks工作空間中的所有作業。確定要刪除的作業，並將其列在文本文件中:%sh curl -X GET -u "Bearer: " https:///api/2.0/jobs/list | grep -o -P 'job_id. xml " . xml " grep -o -P 'job_id. xml "{0,6}' | awk -F':' '{print $2}' >> job_id.txt循環執行curl命令刪除identif…

最後更新:2022年5月10日通過亞當Pavlacka

確定較少使用的工作

工作區對可以在UI中顯示的作業數量有限製。當前的作業限製是1000個。如果超出了作業限製，則會收到QUOTA_EXCEEDED錯誤消息。'error_code':'QUOTA_EXCEEDED'，'message':'已達到作業數量的配額。當前配額為1000。此配額僅適用於通過……

最後更新:2022年5月10日通過亞當Pavlacka

作業集群對筆記本輸出的限製

問題您正在作業集群上運行一個筆記本，您得到一條錯誤消息，指示輸出太大。筆記本的輸出量太大了。原因:rpc response (of 20975548 bytes) exceeds limit of 20971520 bytes原因:rpc response (of 20975548 bytes) exceeds limit of 20971520 bytes

最後更新:2022年5月10日通過何塞·岡薩雷斯

作業失敗，但Apache Spark任務完成

問題您的Databricks作業報告失敗狀態，但所有Spark作業和任務都已成功完成。你在代碼中顯式地調用了spark.stop()或System.exit(0)。如果調用其中任何一個，Spark上下文將被停止，但與Databricks作業服務的優雅關閉和握手不會發生。解決方案做…

最後更新:2022年5月10日通過harikrishnan.kunhumveettil

作業速率限製導致作業失敗

問題:Databricks notebook或Jobs API請求返回以下錯誤:error: {"error_code":"INVALID_STATE"，"message":"There were already created in past 3600 seconds, exceeded rate limit:每3600秒創建1000個job。"產生原因每小時的任務數超過了Da…

最後更新:2022年5月10日通過亞當Pavlacka

在覆蓋模式下創建表中斷時失敗

問題當你嚐試重新運行Apache火花寫操作被取消當前運行工作,以下錯誤:錯誤:org.apache.spark.sql.AnalysisException:無法創建管理表(“testdb”。testtable”)。關聯的位置('dbfs:/user/hive/warehouse/testdb.db/metastore_cache_ testtable)已經存在;因為……

最後更新:2022年5月10日通過亞當Pavlacka

Apache Spark作業掛起是因為不確定的自定義UDF

有時Apache Spark作業會由於Spark用戶定義函數(UDF)的不確定性行為而無限期掛起。下麵是這樣一個函數的例子:%scala val convertorUDF = (commentCol: String) => {#UDF definition} val translateColumn = UDF (convertorUDF)如果你使用withColumn() a…

最後更新:2022年5月10日通過亞當Pavlacka

Apache Spark作業失敗，解析字節字符串失敗

Spark-submit作業失敗，報錯Failed to parse byte string: -1。java.util.concurrent.ExecutionException: java.lang.NumberFormatException: Size必須指定為bytes(b)、kibibytes (k)、mebibytes (m)、gibibytes (g)、tebibytes (t)或pebibytes(p)。例如50b、100k或250m。解析字節字符串失敗:-1 at java.util. concurrent…

最後更新:2022年5月10日通過noopur.nigam

Apache Spark UI顯示錯誤的作業數量

通過Spark界麵查看集群上的Apache Spark活動作業數量，發現數量過高，不準確。如果重新啟動集群，Spark UI中顯示的作業數量一開始是正確的，但隨著時間的推移，它會異常地增加。產生原因對於大型或長時間運行的集群，Spark UI並不總是準確的。

最後更新:2022年5月11日通過阿施施

Apache Spark作業失敗，提示連接池關閉錯誤

Spark任務失敗，錯誤信息為java.lang.IllegalStateException: Connection pool shut down當試圖寫入S3上的Delta表時。產生原因寫入S3的Spark任務被限製為最大同時連接數。java.lang.IllegalStateException:連接池關閉發生在此連接池…

最後更新:2022年5月11日通過noopur.nigam

作業失敗，出現非典型錯誤消息

由於觀察到非典型錯誤錯誤消息，作業運行失敗。Cluster was unreachable during run原因:xxx-xxxxxx-xxxxxxx is throttle due to observing asymmetric errors原因集群上的作業返回給Apache Spark driver節點的大結果太多。結果，司機服務已經用完了。