事務日誌中引用一個文件無法找到

問題你的工作失敗,並顯示一條消息:一個事務日誌中引用文件無法找到。堆棧跟蹤例子:錯誤的SQL語句:SparkException:工作階段失敗而終止:任務0階段6.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 6.0 (TID 106 XXX.XXX.XXX。XXX,遺囑執行人0):com.databricks.sql.io.FileRe…

不能刪除數據在Eclipse中使用JDBC

問題你不能刪除數據從三角洲表從你當地的Eclipse環境中使用JDBC。相同的刪除操作在一個筆記本運行時工作。你可以連接到磚從當地的環境。一個select查詢工作。整型數= namedlocalJdbcTemplate。queryForObject (“SELECT COUNT(*)從<表名稱>”,新的MapSqlParamete…

比較兩個版本的δ表

三角洲湖支持時間旅行,你可以查詢舊三角洲表的快照。一個常見的用例是比較兩個版本的三角洲表,以確定哪些改變。有關時間旅行的更多詳細信息,請查看三角洲湖時間旅行文檔(AWS | Azure | GCP)。識別所有的差異可以使用SQL SELEC……

轉換從鋪到三角洲湖失敗

問題要拚花文件轉換為三角洲湖文件。包含鑲花的目錄文件包含一個或更多的子目錄。轉換失敗,錯誤信息:預計0分區列(s):[],但發現1分區列(s): [< column_name >]從解析文件名稱:< path_to_the_file_location >…

達美航空合並不能解決嵌套的領域

問題你嚐試三角洲與自動模式演化合並,但它與達美航空合並失敗:無法解決“字段”由於數據類型不匹配的錯誤消息。因為這可能發生,如果你對嵌套列字段的更改。例如,假設我們有一個專欄叫地址字段streetName houseNumber,城市不…

刪除你流查詢檢查點和重啟

問題你的工作失敗<價值>δ表不存在。請刪除你的流媒體查詢檢查點和重啟。錯誤消息。導致兩種不同的流媒體資源配置使用相同的檢查點目錄。這是不受支持的。例如,假設流查詢流數據從三角洲表,並使用導演……

δ緩存集群行為的自動定量多少

這篇文章是關於三角洲緩存(AWS | Azure | GCP)伸縮集群行為,根據需要添加或刪除的節點。當一個集群縮減規模和終止節點:三角洲緩存行為以同樣的方式作為一個抽樣緩存。當一個節點出現故障,所有緩存數據的特定節點。三角洲緩存數據不是搬fr…

如何提高性能的三角洲湖並入查詢使用分區修剪

這篇文章解釋了如何觸發分區修剪在三角洲湖並入(GCP) AWS | Azure |查詢從磚。分區修剪是一種優化技術來限製分區的數量所檢查的一個查詢。討論合並成與三角洲表使用時是一項昂貴的操作。如果你不分區底層…

最佳實踐管理三角洲湖表

無論你如何刪除管理表,它可以花大量的時間,這取決於數據大小。三角洲湖管理表中特定的元數據包含許多事務日誌的形式,和它們可以包含重複數據文件。如果一個增量表已經使用了很長時間,這可以積累大量的數據…

在雅典娜HIVE_CURSOR_ERROR當讀表

問題你在雅典娜和集成創建外部表使用說明與三角洲湖在轉眼間,雅典娜三角洲湖集成文檔。雅典娜的外部表中定義Apache蜂巢metastore。你運行一個select查詢外部表從雅典娜查詢編輯器,它返回一個HIVE_CURSOR_ERROR。HIVE_C……

編寫三角洲湖表時拒絕訪問S3

問題寫DataFrame三角洲湖格式的內容到一個S3位置會導致一個錯誤:com.amazonaws.services.s3.model。AmazonS3Exception:禁止(服務:Amazon S3;狀態碼:403;錯誤代碼:403禁止;請求ID: C827672D85516BA9;S3擴展請求ID:導致寫操作涉及三角洲湖格式需要權限……

三角洲湖寫工作與java.lang.UnsupportedOperationException失敗

問題三角洲湖寫工作有時失敗有以下例外:. lang。UnsupportedOperationException:方式com.databricks.backend.daemon.data.client.DBFSV1。putIfAbsent(路徑:路徑、內容:InputStream)。DBFS v1不支持事務從多個集群寫道。請升級到DBFS v2。或者你可以禁用多集群寫道……

如何填充或更新現有的三角洲表中列

現有的差值表的問題,有一些空的列。你需要用數據填充或更新這些列原始文件拚花。解決方案在這個例子中,有一個客戶表,這是一個現有的差值表。beplay体育app下载地址它有一個地址列用缺失值。更新後的數據存在於鋪格式。創建一個從th DataFrame…

識別重複的數據添加操作

一個常見的問題在執行添加操作三角洲表重複數據。例如,假設用戶1執行寫操作在δ表a。與此同時,用戶2三角洲上執行一個附加操作表答:這可能會導致重複的記錄的表。在本文中,我們審查的基本故障排除步驟,您可以使用……

對象鎖錯誤在編寫三角洲湖表S3

問題你想執行一個三角洲寫操作S3 bucket和得到一個錯誤消息。com.amazonaws.services.s3.model。亞馬遜S3Exception: Content-MD5 HTTP header is required for Put Part requests with Object Lock parameters Cause Delta Lake does not support S3 buckets with object lock enabled. Solution You should use an S3 bucket that do...

優化三角洲沉在一個結構化的流媒體應用程序

您使用的是δ表作為結構化的流媒體應用程序的水槽和你想優化三角洲表以便提高查詢的速度。如果您的結構化的流媒體應用程序有一個非常頻繁觸發間隔,它也不會帶來足夠的文件在每個microbatch資格獲得壓實。autoOptimize操作compac……

三角洲湖更新查詢失敗IllegalState例外

問題當你執行一個三角洲湖更新、刪除,或合並查詢使用Python udf的任何轉換,不能用以下例外:AWS . lang。UnsupportedOperationException:方式錯誤的SQL語句:IllegalStateException:文件(s3a: / / xxx / table1)中被重寫未找到候選人文件:s3a: / / xxx /表/部分- 000…

無法把字符串varchar

問題你想把一個字符串類型列varchar但它不工作。信息varchar數據類型(AWS | Azure | GCP)可在磚運行時8.0及以上。創建一個簡單的三角洲表,與一列類型字符串。% sql創建或替換表delta_table1使用δ(“col1”字符串);使用顯示表上新創建的助教……

真空零保留導致數據丟失

問題你添加數據到三角洲表,但沒有預警數據消失。沒有明顯的錯誤消息。因為這可能發生當spark.databricks.delta.retentionDurationCheck.enabled設置為false,真空配置為保持0小時。% sql真空< name-of-delta-table >保留0小時或% sql真空delta. ' < delta_table_pa…

z值將是無效的,而不是收集統計數據

問題你想優化δz值表,收到一個錯誤不收集統計數據的列。AnalysisException: z值在[col1, col2]將是無效的,因為我們目前不為這些列收集統計數據。信息請查看z值(多維聚簇)(AWS | Azure GCP) |更多有限公司…

改變集群配置為三角洲住表管道

問題你用δ生活表和想要改變集群配置。你創建一個管道,但隻有選項來啟用或禁用光子並選擇工人的數量。導致創建一個三角洲住表管道時,大多數參數配置了默認值。這些值不能被配置在管道我…

不同與相同的數據表用於相同查詢時產生不同的計劃

問題,假設您有兩個三角洲表test_table_1 test_table_2。兩個表有相同的模式,同樣的數據量,相同的分區,並包含相同數量的文件。你在做一個連接轉換與另一個δ表,test_table_join,一百萬條記錄。當您運行下麵的連接查詢使用test_table_1和test_……

允許空格和特殊字符與三角洲表嵌套列名稱

問題是很常見的JSON文件包含嵌套的結構體列。嵌套列名在JSON文件中可以有空間之間的名字。當你使用Apache火花讀或寫JSON文件嵌套列名稱中使用空格,你得到一個AnalysisException錯誤消息。例如,如果您試圖讀取JSON文件,評估DataFrame,…