區分活躍和死的工作

問題有太多的集群並行工作,你經常看到一些工作停留在火花UI沒有任何進展。這複雜識別活動工作/階段與死者的工作階段。導致每當有太多並發工作一個集群上運行,有可能引發內部eventListenerBus…

火花與司機工作失敗是暫時不可用

問題一個磚筆記本返回下列錯誤:司機暫時不可用這個問題可以間歇性的或不是。一個相關的錯誤消息是:失去了連接到集群。筆記本可能是分離的。引起此錯誤的一個常見原因是,司機正在內存瓶頸。當這種情況發生時,司機安全原料……

使用REST API如何刪除所有工作

運行以下命令來刪除所有工作在一個磚工作區。識別工作列表刪除和他們在一個文本文件:% sh curl - x - u得到“無記名:<標記>”https:// < databricks-instance > / api / 2.0 /工作/列表| grep - o - p”job_id。{0,6}“| awk - f”:“{打印$ 2}> > job_id。三種運行一個循環中的curlcommand刪除identif……

確定不使用工作

工作區有限製的數量可以在UI中顯示的工作。目前的工作極限是1000。如果你超過工作極限,你收到QUOTA_EXCEEDED錯誤消息。“error_code”:“QUOTA_EXCEEDED”、“消息”:“配額的數量的工作。當前的限額是1000。這個配額隻應用於崗位通過…

工作筆記本集群限製輸出

問題是工作的集群上運行一個筆記本,你得到一個錯誤消息,表明輸出太大。筆記本太大的輸出。原因:rpc響應(20975548字節)超過20971520字節的限製導致這個錯誤消息可能發生在集群工作隻要筆記本輸出大於20 MB。如果你是你…

工作失敗,但是Apache火花任務完成

問題你磚的工作報告失敗的狀態,但所有火花已經成功完成工作和任務。因為你有明確叫spark.stop()或system . exit(0)在您的代碼。如果這些被稱為,火花上下文是停止,但優雅的關閉和握手與磚的工作服務不會發生。解決方案做……

由於工作速率限製工作失敗

問題磚筆記本或工作的API請求返回下列錯誤:錯誤:{“error_code”:“INVALID_STATE”、“消息”:“已經有1000個工作崗位創造了在過去的3600秒,超過速度限製:每3600秒創造1000個工作崗位。”}造成這個錯誤是因為就業人數每小時超過1000的極限建立了噠……

在覆蓋模式下創建表失敗時中斷

問題當你嚐試重新運行Apache火花寫操作被取消當前運行工作,以下錯誤:錯誤:org.apache.spark.sql。AnalysisException:無法創建管理表(“testdb”。testtable”)。相關的位置(“dbfs: / user /蜂巢/倉庫/ testdb。db / metastore_cache_ testtable)已經存在。;因為……

Apache火花工作掛由於不確定的自定義UDF

問題有時Apache火花崗位掛無限期的不確定性行為引發用戶定義函數(UDF)。下麵是這個函數的一個例子:% scala val convertorUDF = (commentCol: String) = > {# UDF定義}val translateColumn = UDF (convertorUDF)如果你調用這個UDF使用withColumn ()…

Apache火花工作失敗未能解析字節字符串

問題Spark-submit工作未能解析字節字符串失敗:1錯誤消息。java . util . concurrent。ExecutionException: . lang。NumberFormatException:大小必須指定為字節(b), kibibytes (k),對齊mebibyte (m), gibibyte (g), tebibytes (t)或pebibytes (p)。如50 b、100 k或250米。未能解析字節字符串:1在java.util.concurre…

Apache火花UI顯示錯誤的就業人數

問題你是審查活動Apache火花工作一個集群的數量在火花UI,但太高,數量是準確的。如果你重新啟動集群,喬布斯火花UI中顯示的數量是正確的,但隨著時間的推移,它變得異常高。引起火花UI並不總是準確的為大,或長時間運行,集群由於……

Apache火花工作與連接池關閉失敗錯誤

問題引發的工作失敗與錯誤消息. lang。IllegalStateException:連接池關閉當試圖寫入數據到一個δ表S3。導致火花工作寫S3最大並發連接數是有限的。. lang。IllegalStateException:連接池時關閉這個連接池……

工作失敗典型錯誤消息

問題你的工作運行失敗與壓製由於觀察典型錯誤錯誤消息。集群成為遙不可及的在運行原因:xxx-xxxxxx-xxxxxxx壓製是由於觀察典型錯誤導致工作在這個集群有過多大的結果返回到Apache火花司機節點。結果,司機服務耗盡m…

Apache火花工作失敗maxResultSize例外

maxResultSize異常問題引發工作失敗:org.apache.spark。SparkException:工作階段失敗而終止:XXXX任務的序列化結果的總大小(X.0 GB)比spark.driver大。maxResultSize (X.0 GB)導致這個錯誤是因為配置的大小限製是超過。大小限製適用於總連載……

磚的工作失敗因為庫沒有安裝

問題磚工作失敗,因為工作需要一個庫,還沒有安裝,導致導入錯誤。導致錯誤發生,因為工作需要庫安裝前開始運行。如果你在集群上運行工作在以下的情況下,集群可以體驗推遲安裝庫:當你開始一個……

工作失敗由於數據湖Azure存儲(ADLS)創建的限製

問題當您運行在Azure的工作涉及創建文件數據存儲(ADLS)湖,Gen1或者代,發生下列異常:由於:. io .IOException:創建失敗與錯誤0 x83090c25(文件和文件夾被創建的速度過高)。[745 c5836 - 264 - e - 470 - c - 9人私下偷偷收藏盒式c605f1c100f5]失敗與錯誤0 x83090c25(文件和fo…

工作失敗,無效的訪問令牌

長時間運行的工作問題,如流媒體工作,失敗後48小時內當使用dbutils.secrets.get () (AWS | Azure | GCP)。例如:% python streamingInputDF1 =(火花.readStream .format .table(“δ”)(“default.delta_sorce”)) def writeIntodelta (batchDF batchId): table_name = dbutil……

如何確保冪等性工作

當你提交工作通過磚工作REST API,冪等性是沒有保證的。如果客戶機請求超時和客戶重新提交相同的請求,你可能最終得到重複的工作運行。確保工作冪等性當你提交工作通過API,您可以使用一個冪等性標記來定義一個獨特的價值specif……

監控運行作業工作運行指示板

工作運行指示板是一個筆記本顯示所有正在運行的工作信息在你的工作區。配置儀表板,您必須允許把一個筆記本一個通用集群在工作區中您希望監視。如果不存在一個通用的集群,您必須創建一個許可。一旦d…

流工作性能退化

問題你有流的工作有其性能降低。你開始一個新的流媒體工作相同的配置和相同的源,其性能優於現有的工作。原因與舊的檢查點可以導致性能下降問題長期運行流工作。這可能發生,如果工作是間歇性哈…

任務反序列化時間很高

問題你的任務正在運行慢於預期。你審查階段細節引發UI集群,看到任務反序列化時間高。導致Cluster-installed庫(AWS | Azure GCP) |隻安裝在司機在集群啟動時。這些庫隻安裝在執行器當第一個任務……

傳遞參數到一個筆記本作為一個列表

沒有直接的方式傳遞參數到一個筆記本作為字典或列表。你可以繞過這個限製通過序列化為JSON文件列表,然後將其作為一個參數。JSON文件傳遞給筆記本之後,您可以解析它json.loads ()。指令定義參數列表和將其轉換為一個JSON文件。首先……

未提交的文件導致數據重複

問題你有一個網絡問題(或類似的),一個寫操作是在進步。你重新運行工作,但部分未提交的文件在運行造成不必要的數據重複失敗。導致磚提交協議是如何工作的:DBIO提交協議(AWS | Azure | GCP)事務。文件後才提交反式……

多任務工作流使用不正確的參數值

問題在多任務工作流中使用鍵值參數是一個常見的用例。是很正常的並行運行多個任務,每個任務可以有不同的參數值相同的關鍵。這些鍵值參數在每個任務使用的代碼和閱讀。例如,假設您有四個任務:task1, task2, task3,和任務……

工作失敗引發洗牌FetchFailedException錯誤

問題如果您的應用程序包含任何聚合或加入階段,執行需要一個火花洗牌階段。取決於所使用的特定的配置,如果你是一個交互式的集群上運行多個流查詢你可能得到一個洗牌FetchFailedException錯誤。ShuffleMapStage未能最大允許的次數…

用戶無法查看工作結果在使用遠程Git源代碼

問題您正在運行一個工作用筆記本存儲在遠程Git存儲庫中(AWS | Azure | GCP)。磚的用戶可以查看權限(不是一個工作區管理或工作)的所有者不能訪問或通過dbutils.notebook.run提交查看結果的短暫工作()從父母的筆記本。因為當工作能見度控製…

嚐試多次運行單一的計劃工作

問題你安排一份工作(GCP) AWS | Azure |每天運行一次,使用石英Cron語法,但工作試圖在同一天多次運行。導致工作時配置,它是由手工輸入預定cron語法和特殊字符*意外設置的秒值。這告訴cron調度程序運行……

工作失敗與洗牌獲取失敗

問題你看到間歇使用洗牌取回Apache火花工作失敗的工作。21/02/01 05:59:55警告TaskSetManager:在舞台上失去了任務0.0 4.0 (TID 4 10.79.1.45執行人0):FetchFailed (BlockManagerId(1 10.79.1.134 4048,沒有一個),shuffleId = 1, mapId = 0, reduceId = 0 = org.apache.spark.shuffle消息。FetchFailedException: conne失敗……

添加自定義標記三角洲住表管道

當管理三角洲生活表管道集群,您可能想要使用自定義標記內部跟蹤。例如,您可能想要使用標簽在不同的部門來分配成本。或您的組織可能有一個全球的集群政策,要求標簽上的實例。未能遵守一個集群政策可能導致clu……