11-28-202206:03我
我有一個大的數據讀取彙合的卡夫卡,500 +數百萬行。當我初始化流讀無法控製批量大小。
我試著readstream設置選項——maxBytesPerTrigger maxOffsetsPerTrigger fetch.max。字節,max.poll.records
maxRatePerPartition火花集群配置選項
從一個全新的檢查點
11-29-2022星期日晚上我
推特)嗨@溜冰場
隻是檢查進一步的信息關於你的問題。你怎麼推斷,批量大小是你提供多maxOffsetsPerTrigger嗎?
11-29-202202:25點
查看SQL工作和看309毫升55行和人力資源運行時間流的狀態仍然是初始化。沒有數據被寫入到一個表的過程。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。