自動加載程序:空字段(cloud_files_state discovery_time, commit_time archive_time)

[Benji0934]

這就跟你問聲好！

為什麼田野discovery_time、commit_time archive_time cloud_files_state空嗎?

我需要配置什麼當創建我的汽車裝載機嗎?

df = spark.readStream.format (cloudFiles) \ .option (“cloudFiles。格式”、“json”) \ .option (“cloudFiles。tenantId”, tenantId) \ .option (“cloudFiles。clientId”, clientId) \ .option (“cloudFiles。clientSecret”, clientSecret) \ .option (“cloudFiles。resourceGroup”, resourceGroup) \ .option (“cloudFiles。subscriptionId”, subscriptionId) \ .option (“cloudFiles。useNotifications”、“真實”)\ .option (“cloudFiles。在cludeExistingFiles", "true") \ .option("cloudFiles.schemaLocation", checkpoint_path) \ .option("cloudFiles.schemaEvolutionMode", "rescue") \ .option("recursiveFileLookup", "true") \ .option("badRecordsPath", bad_records_path) .option("multiLine", "true") .schema(dfSchema.schema) \ .load(sourceDir) #Transforming dataframe stream... df6.writeStream \ .format("delta") \ .foreachBatch(upsertToDelta) \ .option("checkpointLocation", checkpoint_path) \ .outputMode("update") \ .start(targetDir) #target folder

[Hubert_Dudek1]

• 請確保DBR版本10.5或更高版本
• commit_time甚至archive_time可以為空,但discovery_time設置的非空表定義這有點奇怪。請先改變DBR版本。

[Benji0934]

你好休伯特,

謝謝你的回複

DBR的版本是11.3。是的它確實是非常奇怪的。