取消
顯示的結果
而不是尋找
你的意思是:

如何限製批量大小支流卡夫卡

AdamRink
新的貢獻者三世

我有一個大的數據讀取彙合的卡夫卡,500 +數百萬行。當我初始化流讀無法控製批量大小。

我試著readstream設置選項——maxBytesPerTrigger maxOffsetsPerTrigger fetch.max。字節,max.poll.records

maxRatePerPartition火花集群配置選項

從一個全新的檢查點

2回答2

UmaMahesh1
尊敬的貢獻者三世

推特)嗨@溜冰場

隻是檢查進一步的信息關於你的問題。你怎麼推斷,批量大小是你提供多maxOffsetsPerTrigger嗎?

AdamRink
新的貢獻者三世

查看SQL工作和看309毫升55行和人力資源運行時間流的狀態仍然是初始化。沒有數據被寫入到一個表的過程。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map