Soma——磚

Soma

我們使用pyspark流偵聽器和滯後十hrsThe記錄數據流在10點是晚上10點IstCan有人解釋日誌監聽器接口的工作方式

Soma · 06-18-2023

我用rocksdb statestore流和使用collect_set實現de-dup邏輯。有什麼方法我可以轉換rocksdb鍵值迭代器正常字符串作為我需要驗證內部存儲為我可能需要存儲50 k不同val……

Soma · 04-23-2023

在集群互動磚工作流的運行成本

Soma · 04-09-2023

有兩個自定義狀態函數像mapgroupswithstate ApplyinpandaswithStateWhich有一個內部狀態維護是保持在同一statestore (rocksdb)聚合狀態存儲功能

Soma · 04-05-2023

你好,我們正在試圖做的宇宙補丁api數組字段,但我看到的問題是我們需要收集數據的索引你能請讓我們知道如果我們有另一個司機這造成瓶頸

Soma

無火花在UTC和運行日誌分析或python模塊還使用UTC。一個關鍵是即使在dev我們有相同的代碼,但是我們隻有一個延遲< 2分鍾。pyspark聽眾一些潛在問題

Soma

我添加了以下timestampmicrobatch_timestamp - - >來自流進步和它顯示10 ambatchid - >的火花batchid流也對應於10 amwhere ingested_timestamp around10點w…

Soma

我們使用Azure日誌分析和日誌分析我們看不到我們捕捉current_timestamp滯後值(inprogress)和日誌分析timestamp_Generated(自動列)時得到添加數據寫入的區別1分鍾和進步……

Soma

嗨@willam45火花流媒體應用程序工作完全從結構化流UIbut我可以看到我這個自定義偵聽器使用記錄實時提醒有一些問題,我隻是想知道它是如何處理異步的年代……

Soma · 04-24-2023

DLT住表是昂貴的

磚