取消
顯示的結果
而不是尋找
你的意思是:

自動裝卸機和“cleanSource”

laurencewells
新的貢獻者三世

你好,

我們試圖使用火花3結構化流特性/選項”.option (“cleanSource”、“檔案”)“歸檔處理文件。

這是使用標準火花實現按預期工作,但是並沒有使用自動裝卸機工作。我不能看到任何文檔指定是否這種支持。這是一個錯誤還是預期。我們已經嚐試了各種調整等都無濟於事。

這是一個錯誤或預期嗎?

有另一種方法使用自動裝卸機嗎?

感謝拉裏

df =(火花。readStream .format (cloudFiles) \ .option (“cloudFiles。形式at", "csv") \ .option("cleanSource","archive") .option("sourceArchiveDir",archivePath) .option('header', 'true') .schema(schema) .load(path) .withColumn("loadDate",lit(datetime.utcnow())) )

5回複5

werners1
尊敬的貢獻者三世

https://docs.www.eheci.com/ingestion/auto-loader/options.html common-auto-loader-options

cleanSource不是上市選擇所以它不會做任何事情。

也許事件保留你可以使用嗎?

laurencewells
新的貢獻者三世

是的,但是我猜作為本機火花實現文件流的一部分我覺得應該指定不管怎樣?

werners1
尊敬的貢獻者三世

自動裝卸機隻能在磚上,而不是在OSS版本的火花,所以這是完全可能的。

也許一個磚dev可以介入,清楚這一點?

道歉我的意思cleanSource選項是本地火花3.0的一部分,因此如果不工作在自動裝卸機,我希望看到它不支持文檔。如果它包含在代碼或錯誤。目前它接受它,什麼也不做。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map