磚自動加載器是一個有趣的功能,可用於數據加載增量。
✳它可以處理新的數據文件,因為他們到達雲存儲對象
✳它可以用於攝取JSON、CSV、拚花,AVRO,獸人,甚至文本和二進製文件格式
✳自動加載器可以支持的規模甚至每小時百萬文件。它保持在一個檢查站位置狀態信息在一個名為RocksDB的鍵值存儲。的狀態現在維護檢查點,它甚至可以從那裏離開的簡曆在失敗的時候,能保證隻有一次語義。
請查收我的帳麵價值的磚自動裝卸機中。快樂的任何反饋
磚自動裝卸機係列,加速增量數據攝入:https://lnkd.in/ew3vaPmp
磚自動裝載機係列-基礎:https://lnkd.in/e2zanWfc
