取消
顯示的結果
而不是尋找
你的意思是:

自動加載程序:空字段(cloud_files_state discovery_time, commit_time archive_time)

Benji0934
新的貢獻者二世

這就跟你問聲好!

為什麼田野discovery_time、commit_time archive_time cloud_files_state空嗎?

我需要配置什麼當創建我的汽車裝載機嗎?

df = spark.readStream.format (cloudFiles) \ .option (“cloudFiles。格式”、“json”) \ .option (“cloudFiles。tenantId”, tenantId) \ .option (“cloudFiles。clientId”, clientId) \ .option (“cloudFiles。clientSecret”, clientSecret) \ .option (“cloudFiles。resourceGroup”, resourceGroup) \ .option (“cloudFiles。subscriptionId”, subscriptionId) \ .option (“cloudFiles。useNotifications”、“真實”)\ .option (“cloudFiles。在cludeExistingFiles", "true") \ .option("cloudFiles.schemaLocation", checkpoint_path) \ .option("cloudFiles.schemaEvolutionMode", "rescue") \ .option("recursiveFileLookup", "true") \ .option("badRecordsPath", bad_records_path) .option("multiLine", "true") .schema(dfSchema.schema) \ .load(sourceDir) #Transforming dataframe stream... df6.writeStream \ .format("delta") \ .foreachBatch(upsertToDelta) \ .option("checkpointLocation", checkpoint_path) \ .outputMode("update") \ .start(targetDir) #target folder

2回答2

Hubert_Dudek1
尊敬的貢獻者三世
  • 請確保DBR版本10.5或更高版本
  • commit_time甚至archive_time可以為空,但discovery_time設置的非空表定義這有點奇怪。請先改變DBR版本。

Benji0934
新的貢獻者二世

你好休伯特,

謝謝你的回複:slightly_smiling_face:

DBR的版本是11.3。是的它確實是非常奇怪的。

圖像

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map