Apache Spark UI與作業不同步

在Spark UI (AWS | Azure | GCP)中無法正確顯示Spark作業的狀態。在Spark界麵中，一些被確認為“完成”狀態的作業顯示為“活動/運行中”。在某些情況下，Spark UI可能出現空白。當您查看驅動程序日誌時，您會看到一個AsyncEventQueue警告。日誌===== 20/12/23 21:20:26…

Apache Spark作業失敗，Parquet列無法轉換錯誤

問題:您正在以Parquet格式讀取數據並寫入Delta表時，得到Parquet列無法轉換的錯誤消息。集群運行的是Databricks Runtime 7.3 LTS及以上版本。寫行時任務失敗。原因如下:com.databricks.sql.io.FileReadException: Error while reading file s3://buc…

cache()、count()和take()的最佳實踐

cache()是一個Apache Spark轉換，當你想執行多個操作時，可以在DataFrame、Dataset或RDD上使用它。cache()將指定的DataFrame、Dataset或RDD緩存到集群worker的內存中。因為cache()是一個轉換，所以緩存操作隻在Spark操作(例如count()，…

無法導入timestamp_millis或unix_millis

你試圖將timestamp_millis或unix_millis導入到Scala筆記本中，但是得到一個錯誤消息。% scala org.apache.spark.sql.functions進口。{timestamp_millis, unix_millis}錯誤:value timestamp_millis不是org.apache.spark.sql.functions對象的成員。{timestamp_millis, unix_millis}標出……

不能修改Apache Spark的配置值

問題:您試圖在筆記本電腦中設置Spark配置的值，得到“無法修改Spark配置的值”錯誤。例如:%sql SET spark.serializer=org.apache.spark.serializer。KryoSerializer錯誤在SQL語句:AnalysisException:不能修改Spark配置的值:Spark .serializer;產生原因SET命令不生效…

將扁平的DataFrame轉換為嵌套的JSON

本文解釋了如何通過在另一個case類中嵌套case類，將一個扁平的DataFrame轉換為一個嵌套結構。您可以使用此技術構建一個JSON文件，然後將其發送到外部API。我們將從一個扁平的DataFrame開始。使用這個DataFrame示例，我們定義了一個自定義的嵌套模式usi…

將嵌套的JSON轉換為扁平的數據幀

本文向您展示如何僅使用$"列來平鋪嵌套JSON。*”和爆炸方法。將示例JSON字符串傳遞給閱讀器。% scala val json = " " {" id ": " 0001 ",“類型”:“甜甜圈”、“名稱”:“蛋糕”、“ppu”:0.55,“人次”:{“糊”:……

從JSON字符串或Python字典創建一個DataFrame

在本文中，我們將回顧如何從包含JSON字符串或Python字典的變量創建Apache Spark DataFrame。從JSON字符串中添加JSON內容到列表中。%scala import scala.collection.mutable. listbuffer val json_content1 = "{'json_col1': 'hello'， 'json_col2': 32…

十進製美元DecimalIsFractional斷言錯誤

您正在運行Databricks Runtime 7的作業。當你得到java.lang.AssertionError: assertion failed: Decimal$ decimalis分數錯誤消息時。示例堆棧跟蹤:java.lang.AssertionError: assertion failed: Decimal$ decimalisfraction while compilation: during phase: globalPhase=terminal, enteringPhase=j…

from_json在Apache Spark 3.0中返回null

from_json函數用於解析JSON字符串並返回值的結構。例如，如果你有一個JSON字符串[{"id":"001"，"name":"peter"}]，你可以將它傳遞給帶有模式的from_json，並返回解析的結構值。%python from pyspark.sql.functions import col, from_json display(df.select(col('value')， from_json(c…

當啟用qe時，出現間歇性的NullPointerException

在保存數據時，會出現間歇性的NullPointerException錯誤。Py4JJavaError:調用o2892.save時發生錯誤。: java.lang.NullPointerException at org.apache.spark.sql. execute . adaptive.optimizeskewedjoin .$anonfun$getMapSizesForReduceId$1(OptimizeSkewedJoin.scala:167) at org.apache.spark.sql.execution.adaptive....

管理Delta表的大小

Delta表與傳統表不同。Delta表包括ACID事務和時間旅行功能，這意味著它們維護事務日誌和過時的數據文件。這些附加功能需要存儲空間。在本文中，我們將討論可以幫助您管理Delta表大小的建議。啟用文件係統ve…

從Databricks Runtime 5.5升級後讀取外部JDBC表時遇到問題

試圖通過JDBC讀取外部表在Databricks Runtime 5.5上工作正常，但在Databricks Runtime 6.0及以上版本上讀取相同的表失敗。您會看到一個類似於以下的錯誤:

在Scala中運行c++代碼

回顧從Scala運行c++筆記本....

使用模式匹配選擇文件

在選擇文件時，一個常見的要求是隻從文件夾中讀取特定的文件。例如，如果您正在處理日誌，您可能希望讀取特定月份的文件。您可以使用glob模式用一個表達式匹配多個文件，而不是枚舉每個文件和文件夾來查找所需的文件。這篇文章使用了examp…

多個Apache Spark JAR作業在並發運行時失敗

問題:如果您同時運行多個Apache Spark JAR作業，有些運行可能會失敗，出現以下錯誤:org.apache.spark.sql.AnalysisException: Table or view not found: xxxxxxx;第1行pos 48產生原因由於Scala存在錯誤。當一個對象擴展了App，它的val字段不再是不可變的，它們可以在main滿足…

向Redshift表中寫入一個缺少列的數據幀

當寫入Redshift表時，如果目標表比源Apache Spark DataFrame有更多的列，你可能會得到一個複製錯誤。COPY failed with error: [Amazon][Amazon Redshift](1203)當試圖執行查詢時發生錯誤:error: Load into table table-name failed。查看'stl_load_errors'係統表了解詳細信息。“12…