你好,我是試圖使用磚在Azure火花結構化流的工作和一個非常神秘的問題。我煮的工作下來,我……

[JesseLancaster]

你好,

我想使用磚在Azure上的火花結構化流的工作和一個非常神秘的問題。

我煮的工作它是基本的測試,從卡夫卡的主題和寫作閱讀forEachBatch控製台。

在當地,indefinately一切都好。

在磚上,任務終止超過5分鍾後“取消”狀態。

日誌中沒有錯誤,隻是,這似乎是一個優雅的關閉請求,但我不知道它來自哪裏

22/11/04 18:31:30信息DriverCorral美元:清洗包裝replid - 1 ea30 - 8 e4c0 - 48422 a(目前狀態運行(replid - 1 ea30 - 8 e4c0 - 48422 a, ExecutionId(工作- 774316032912321 -運行- 84401 -行動- 5645198327600153),RunnableCommandId(9102993760433650959))) 22/11/04 18:31:30信息DAGScheduler:要求取消作業集團2207618020913201706 _9102993760433650959_job - 774316032912321 -運行- 84401 -行動- 5645198327600153 22/11/04 18:31:30信息ScalaDriverLocal:取消jobGroup: 2207618020913201706 _9102993760433650959_job - 774316032912321 -運行- 84401 -行動- 5645198327600153 22/11/04 18:31:30信息ScalaDriverWrapper:停止流commandId模式:CommandIdPattern(2207618020913201706,沒有,一些(工作- 774316032912321 -運行- 84401 -行動- 5645198327600153))。22/11/04 18:31:30信息DatabricksStreamingQueryListener:停止流(id = d41eff2a - 4 - de6 f17 - 8 d1c - 659 d1c1b8d98 runId = 5 bae9fb4-b5e1-45a0-af1e-a2f2553592c9] 22/11/04 18:31:30信息DAGScheduler:要求取消工作小組5 bae9fb4-b5e1-45a0-af1e-a2f2553592c9 22/11/04 18:31:30信息TaskSchedulerImpl:取消階段366 22/11/04 18:31:30信息TaskSchedulerImpl:殺死所有正在運行的任務階段366:階段取消22/11/04 18:31:30信息MicroBatchExecution: QueryExecutionThread.interruptAndAwaitExecutionThreadTermination稱為流查詢超時退出= 15000毫秒

任何想法嗎?

[Kaniz]

嗨@JESSE蘭開斯特,請分享你的代碼堆棧。

[Kaniz]

嗨@JESSE蘭開斯特,結構化流提供了容錯和數據流查詢的一致性;使用磚的工作流,您可以很容易地配置您的結構化流查詢自動重新啟動失敗。

您可以重新啟動查詢失敗後使檢查點流查詢。

重新啟動查詢繼續失敗的一個。

[Kaniz]

嗨@JESSE蘭開斯特,我們還沒聽到你自從上次回應我,我檢查看看我的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[JesseLancaster]

Kaniz,

不幸的是這些信息有用。

1)。我熟悉結構化流和檢查站,我開發了多年的火花,隻是不是磚

2)這不是地址的原因失敗,流媒體的工作應該不間斷地運行,而不是必須每隔5分鍾重新啟動

3)我試著建立一個重試政策,然而它不觸發(大概是因為這是一個取消根據狀態不是一個失敗)因此,即使我想重新啟動工作每5分鍾重試政策我不能。