取消
顯示的結果
而不是尋找
你的意思是:

錯誤讀取三角洲湖文件時自動加載程序

Vladif1
新的貢獻者二世

你好,

當閱讀三角洲湖文件(由自動加載程序)這段代碼:df = (

spark.readStream

.format (“cloudFiles”)

.option (“cloudFiles。格式”、“δ”)

.option (“cloudFiles。schemaLocation“f”{silver_path} / _checkpoint”)

.load (bronze_path)

)

收到這個錯誤:

AnalysisException:檢測到不兼容的格式。三角洲的事務日誌發現“/ mnt / f1、f2 / _delta_log’,但你正試圖從“/ mnt / f1、f2 /”使用格式(“cloudFiles”)。您必須使用的格式(“δ”)當閱讀和寫作δ表。禁用此檢查,設置spark.databricks.delta.formatCheck.enabled = false來了解更多關於三角洲……

什麼是正確的閱讀方式三角洲湖文件自動加載器進行進一步處理(如. .從銅層銀)?

謝謝你!

4回複4

werners1
尊敬的貢獻者三世

隨著錯誤提到:自動裝卸機和δ不混合。

但有更改數據以三角洲湖(來源):

https://learn.microsoft.com/en-us/azure/databricks/delta/delta-change-data-feed

這樣你不需要閱讀整個三角洲表隻攝取的變化。

Vladif1
新的貢獻者二世

自動裝卸機不支持閱讀從三角洲湖表?三角洲以外的任何其他格式的支持?

謝謝你!

werners1
尊敬的貢獻者三世

你可以檢查你自己:

https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/

“自動加載器可以攝取JSON、CSV、拚花,AVRO,獸人,文本,和BINARYFILE文件格式”

它是有意義的。自動裝卸機是一種工具來識別你所擁有的已經處理過的。

三角洲湖不僅僅是一些文件,它有一個事務日誌。

Vidula_Khanna
主持人
主持人

嗨@Vlad費金

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map