取消
顯示的結果
而不是尋找
你的意思是:

我第一次建立了一個三角洲住表使用Python(電子郵件保護)def事務():返回(火花.readStream .format (“cloudFi……

Kaniz
社區經理
社區經理

我第一次建立了一個三角洲生活表使用Python如下。

@dlt。表def事務():返回(火花.readStream .format . schema (transaction_schema) .option (“cloudFiles”) (“cloudFiles。格式”、“鋪”).load(路徑))

,我寫了三角洲生活表為目標數據庫測試。

{" id ": < id >,“集群”:[{“標簽”:“默認”,“自動定量”:{“min_workers”: 1、“max_workers”: 5}}],“發展”:真的,“連續”:假的,“版”:“核心”,“光子”:假的,“庫”:[{“筆記本”:{“路徑”:<路徑>}}],“名字”:“dev管道”,“存儲”:<存儲>,“目標”:“測試”}

一切都如預期的試驗工作。

一段時間後,我發現我忘了添加分區列的表,我把表被刪除表的測試在測試。交易,並更新了筆記本

@dlt。表(partition_cols =“分區”,)def事務():返回(火花.readStream .format . schema (transaction_schema) .option (“cloudFiles”) (“cloudFiles。格式”、“鋪”).load(路徑).withColumn(“分區”,F.to_date(“時間戳”)))

然而,當我重新管道,我得到了一個錯誤。

org.apache.spark.sql。AnalysisException:不能改變分區列表事務。當前:要求:分區

我不能改變分區列僅刪除目標表。

正確的方法是什麼改變分區列在三角洲住表嗎?

答:——@Kit山藥謝霆鋒

計算機科學•香港科技大學

4回複4

RiyazAli
貢獻者三世

@Kaniz Fatma——是錯誤的,因為被創建的分區列而不是使用預定義的列?

我很好奇,想知道dlt腳本的執行流的上麵寫的。就像我看到的那樣,一旦readStream使用一個新列創建一個df命名分區然後DLT也將會伴隨這個分區嗎?

嗨@Riyaz阿裏,這個問題已經發布了代表裝備山藥謝霆鋒。

RiyazAli
貢獻者三世

哦,好的,明白了謝謝!

嗨@Kaniz開羅,

原始請求者可以看到響應?有後續的問題嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map