取消
顯示的結果
而不是尋找
你的意思是:

查詢與流媒體來源必須執行writeStream.start ();

Bency
新的貢獻者三世

當我嚐試執行一些流數據轉換,得到查詢與流媒體來源必須執行writeStream.start ();錯誤

我的目標是做一個查找在流數據中的每一行每一列。

steaming_table = spark.readStream.format(“δ”).table(“表”)

df = (steaming_table。變換(decode_func(“配置dic”,“從另一個表的查詢來獲得查找值”)))

在decode_func函數寫我有一個定製的邏輯在哪裏

1回複1

Noopur_Nigam
重視貢獻二世

嗨@Bency馬修可以使用每個microbatch forEachBatch執行自定義邏輯。請參考以下文檔:

https://docs.www.eheci.com/structured-streaming/foreach.html perform-streaming-writes-to-arbitrary -…

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map