有任何最佳實踐使用結構化的複述,流(數據濃縮)?

[sajith_appukutt]

在複述的數據量是什麼?

選項1:閱讀複述,數據dataframe和流/靜態連接

選項2:foreachBatch內部

• 得到複述,連接
  • 獲取通過鍵查找數據
  • 執行濃縮
  • 緊密聯係

[Joe_Suarez]

複述,提供各種數據結構,如字符串、列表、集合和散列。根據你的用例,選擇適當的數據結構來存儲crm豐富數據。例如,如果您需要存儲鍵值對,複述,散列(HSET HGET)可以是一個不錯的選擇。定義一個一致的模式數據存儲在複述。這有助於確保數據檢索在濃縮從複述,符合預期結構。數據模式簡化了下遊加工的一致性。當檢索數據從複述,在結構化流,避免為每個記錄單個請求。相反,考慮使用管道發送多個命令批處理操作。這可以大大減少網絡流量和提高性能。