本地SQL Server攝入磚銅層

[Enzo_Bahrami]

大家好!

所以我想攝取表和模式從本地SQL server數據磚銅層與達美住使用Azure數據表和我想做的工廠,我希望負載批量裝載一個快照,不是一個增量加載。有什麼活動我將不得不使用ADF嗎?

[frantisek]

當然,第一個錯誤,彈出(代碼從筆記本下麵截圖):

AnalysisException:檢測到不兼容的格式。三角洲的事務日誌發現的https://teststorage.blob.core.windows.net/testtest/dbo.Animal.parquet/_delta_log”,但你想讀的https://teststorage.blob.core.windows.net/testtest/dbo.Animal.parquet“使用格式(“鋪”)。您必須使用的格式(“δ”)當閱讀和寫作δ表。禁用此檢查,設置spark.databricks.delta.formatCheck.enabled = false來了解更多關於三角洲,見https://docs.microsoft.com/azure/databricks/delta/index

我試著修複它像“delta_df = spark.read。格式(“鋪”)- - > delta_df = spark.read。格式(“δ”)”

它的下降:

文件/磚/火花/ python / pyspark / instrumentation_utils。py: 48, _wrap_function。<當地人>。包裝器(* args, * * kwargs) 46開始= time.perf_counter() 47個試題:- - - - - - > 48 res = func (* args, * * kwargs) 49記錄器。function_name log_success (50 module_name class_name, time.perf_counter()——開始,簽名51)

但是我不確定我用正確的方式。試圖完成我的項目和我通過複製數據管道,但我想改變成三角洲表中自動裝卸機和存儲數據。

提前謝謝。

[Vidula_Khanna]

嗨@Parsa Bahraminejad

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!