取消
顯示的結果
而不是尋找
你的意思是:

如何讓dataframe行的計數時閱讀火花。readstream使用批處理作業?

SRK
貢獻者三世

我試圖從卡夫卡主題使用讀取消息spark.readstream,我用下麵的代碼閱讀它。

我的代碼:

df = spark.readStream

.format(“卡夫卡”)

.option (“kafka.bootstrap。服務器”、“192.1 xx.1.1xx: 9 xx”)

.option(“訂閱”、“json_topic”)

.option (“startingOffsets”、“最早”)/ /開始

.load ()

現在我隻想得到的計數df就像我們可以得到df.count ()當我們使用方法spark.read。

我需要一些條件,如果我沒有得到任何消息從這個話題。我運行這段代碼作為一個批處理和業務需求,我不想使用spark.read。

請建議最好的方法是什麼。

提前謝謝!

2回答2

daniel_sahal
尊敬的貢獻者三世

你可以試試這個方法:

https://stackoverflow.com/questions/57568038/how-to-see-the-dataframe-in-the-console-equivalent-of-s..。

ReadStream正在運行一個線程在後台沒有簡單的方法像df.show ()。

SRK
貢獻者三世

謝謝你的建議。我將檢查。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map