我為什麼要搬到裝載器?

[User16869510359]

我有一個流媒體工作負載使用S3-SQS連接器。流媒體的工作是SLA中運行良好。我應該將我的工作遷移到使用自動裝載器嗎?如果是,有什麼好處?誰應該遷移,誰不應該?

[Anand_Ladda]

自動裝卸機將抽象的主要好處檢查點什麼數據已經成功處理和需要處理。為你的用例文件通知方法,工作得很好https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader.html file-discovery-modes。除了有一些其他好處的自動加載程序模式推理和演化,你可能受益於用例——取決於你https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader.html配置

最後有管道與增強汽車的未來防裝載機,你也可以從中受益

[User16869510359]

這說得通@Anand Ladda !

一個主要的改進,將對性能有直接影響建築的區別。S3-SQS三角洲表的使用一個內部實現存儲檢查點源文件的詳細信息。從客戶我們beplay体育app下载地址已經看到三角洲表檢查點的使用源文件不是有效的方法的細節。確保更快的檢索和數據庫插入是必要的。因此,使用RocksBD裝載器改善了檢查點。這將直接流查詢性能改進。

S3-SQS中麵臨的一些問題和解決汽車加載程序如下:

• 延遲啟動流查詢
• 流查詢每一小時暫停了很長一段時間
• 同步獲取和刪除造成的問題。