錯誤在三角洲住表丟失的文件選擇嗎?

[Juhani]

當使用三角洲生活表與SQL語法ignoreMissingFiles選擇不工作,你得到錯誤。(見下圖)

特點:鏈接

https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/options generic-options

這是SQL代碼為青銅層

創建或更新臨時現場直播表bronze_InventSite選擇_c0 LastProcessedChange_DateTime, _c1 DataLakeModified_DateTime, _c2 Start_LSN, _c3 End_LSN, _c4 DML_Action, _c5 Seq_Val, _c6 Update_Mask, _c7 RECID, _c8 DefaultDimension, _c9 DefaultInventStatusId, _c10名字,_c11 OrderEntryDeadlineGroupId, _c12 SiteId, _c13 TaxBranchRefRecId, _c14時區,_c15 IsReceivingWarehouseOverrideAllowed, _c16 DataAreaId, _c17分區,_c18 RECVERSION, _c19從cloud_files SYSROWVERSIONNUMBER (“/ mnt / d365fscm / ChangeFeed / InventSite”、“csv”地圖(“分隔符”、“,”,“頭”,“假”,“ignoreMissingFiles”,“真正的”))

這裏是SQL——代碼SCD2表:

創建或更新直播表silver_InventSite;應用到生活變化。silver_InventSite從流(live.bronze_InventSite)鍵(RECID)忽略NULL更新序列Start_LSN / * Start_LSN * /存儲為SCD 2型;

[daniel_sahal]

它看起來像自動裝卸機需要模式即使ignoreMissingFiles設置為true(如果沒有文件就不能讀)。

嚐試使用schemaLocation指定模式。

[Juhani]

謝謝你,我得到它的工作是這樣的:

創建或更新臨時現場直播表bronze_InventSite選擇_c0 LastProcessedChange_DateTime, _c1 DataLakeModified_DateTime, _c2 Start_LSN, _c3 End_LSN, _c4 DML_Action, _c5 Seq_Val, _c6 Update_Mask, _c7 RECID, _c8 DefaultDimension, _c9 DefaultInventStatusId, _c10名字,_c11 OrderEntryDeadlineGroupId, _c12 SiteId, _c13 TaxBranchRefRecId, _c14時區,_c15 IsReceivingWarehouseOverrideAllowed, _c16 DataAreaId, _c17分區,_c18 RECVERSION, _c19從cloud_files SYSROWVERSIONNUMBER (“/ mnt / d365fscm / ChangeFeed / InventSite”、“csv”地圖(“分隔符”、“,”,“頭”,“假”,“模式”、“_c0字符串,_c1字符串,_c2字符串,_c3字符串,_c4字符串,_c5字符串,_c6字符串,_c7字符串,_c8字符串,_c9字符串,_c10字符串,_c11字符串,_c12字符串,_c13字符串,_c14字符串,_c15字符串,_c16字符串,_c17字符串,_c18字符串,_c19字符串"))

[Hubert_Dudek1 · Accepted solution]

你也可以使用inferSchema。ignoreMissingFiles選項來處理文件被意外刪除之前完全處理,所以沒有相關的模式。