當然,第一個錯誤,彈出(代碼從筆記本下麵截圖):
AnalysisException:檢測到不兼容的格式。三角洲的事務日誌發現的https://teststorage.blob.core.windows.net/testtest/dbo.Animal.parquet/_delta_log”,但你想讀的https://teststorage.blob.core.windows.net/testtest/dbo.Animal.parquet“使用格式(“鋪”)。您必須使用的格式(“δ”)當閱讀和寫作δ表。禁用此檢查,設置spark.databricks.delta.formatCheck.enabled = false來了解更多關於三角洲,見https://docs.microsoft.com/azure/databricks/delta/index
我試著修複它像“delta_df = spark.read。格式(“鋪”)- - > delta_df = spark.read。格式(“δ”)”
它的下降:
文件/磚/火花/ python / pyspark / instrumentation_utils。py: 48, _wrap_function。<當地人>。包裝器(* args, * * kwargs) 46開始= time.perf_counter() 47個試題:- - - - - - > 48 res = func (* args, * * kwargs) 49記錄器。function_name log_success (50 module_name class_name, time.perf_counter()——開始,簽名51)
但是我不確定我用正確的方式。試圖完成我的項目和我通過複製數據管道,但我想改變成三角洲表中自動裝卸機和存儲數據。
提前謝謝。