@Mars蘇:
是的,在一個藍綠色的部署場景中,藍色和綠色版本的火花結構化流工作將同時運行,交通逐漸從藍色轉向綠色版本。
關於檢查點的位置,一般建議使用單獨的檢查點位置為每個版本的工作,以避免潛在的衝突或數據損壞。這是因為檢查點位置存儲流的狀態查詢,包括當前偏移量,用於恢複查詢故障或重新啟動。
在起程拓殖為了達到這個目標,你可以定義兩個不同的檢查點位置的藍色和綠色版本的工作,並指定他們的
checkpoint_location spark_conf塊的參數為每個工作。例如:
#藍色工作資源”databricks_job”“blue_job”{#……new_cluster {#……spark_conf = {" spark.sql.streaming。checkpointLocation " = " /藍色/檢查站”}}#……}#綠色工作資源“databricks_job”“green_job”{#…new_cluster {#……spark_conf = {" spark.sql.streaming。checkpointLocation " = " /綠色/檢查站”}}#……}
在這個例子中,藍色的工作將使用檢查點位置/藍色/檢查站
,而綠色工作將使用/綠色/檢查站。請注意,您還需要確保任何輸出或中間數據寫入單獨的位置為藍色和綠色版本的工作,避免衝突或數據損壞。
@Mars蘇:
是的,你可以實現零停機在磚的工作部署火花結構化流計算使用起程拓殖。實現這一目標的一個方法是通過使用磚”“集群”功能,它允許您創建一個集群專為運行工作。這是如何實現零停機使用起程拓殖部署:
遵循這些步驟,您可以實現零停機部署你的火花在磚使用起程拓殖的結構化流工作。注意,應該徹底地測試你的新工作在所有流量切換到它之前,以確保正常工作,在生產中不會引起任何問題。
@Mars蘇:
是的,在一個藍綠色的部署場景中,藍色和綠色版本的火花結構化流工作將同時運行,交通逐漸從藍色轉向綠色版本。
關於檢查點的位置,一般建議使用單獨的檢查點位置為每個版本的工作,以避免潛在的衝突或數據損壞。這是因為檢查點位置存儲流的狀態查詢,包括當前偏移量,用於恢複查詢故障或重新啟動。
在起程拓殖為了達到這個目標,你可以定義兩個不同的檢查點位置的藍色和綠色版本的工作,並指定他們的
checkpoint_location spark_conf塊的參數為每個工作。例如:
#藍色工作資源”databricks_job”“blue_job”{#……new_cluster {#……spark_conf = {" spark.sql.streaming。checkpointLocation " = " /藍色/檢查站”}}#……}#綠色工作資源“databricks_job”“green_job”{#…new_cluster {#……spark_conf = {" spark.sql.streaming。checkpointLocation " = " /綠色/檢查站”}}#……}
在這個例子中,藍色的工作將使用檢查點位置/藍色/檢查站
,而綠色工作將使用/綠色/檢查站。請注意,您還需要確保任何輸出或中間數據寫入單獨的位置為藍色和綠色版本的工作,避免衝突或數據損壞。