結構化流的生產考慮因素
您可以使用Structured Streaming on Databricks輕鬆配置生產增量處理工作負載,以滿足實時或批處理應用程序的延遲和成本要求。理解結構化數據流的關鍵概念可以幫助您在擴展數據量和速度以及從開發轉向生產時避免常見的陷阱。
Databricks推出了Delta Live表,以降低管理結構化流工作負載的生產基礎設施的複雜性。Databricks建議在新的結構化流管道中使用Delta Live table;看到Delta Live Tables簡介.
為結構化流工作負載使用筆記本
使用Databricks筆記本進行交互式開發需要將筆記本連接到集群,以便手動執行查詢。您可以使用Databricks筆記本進行自動部署和從查詢失敗中自動恢複工作流.
您可以在交互式開發期間在筆記本中可視化結構化流查詢,或用於交互式監視生產工作負載。如果有人定期監視筆記本的輸出,則應該隻在生產中可視化Structured Streaming查詢。而觸發
而且checkpointLocation
參數是可選的,作為最佳實踐Databricks建議您總是在生產環境中指定它們。