你好,
我想使用磚在Azure上的火花結構化流的工作和一個非常神秘的問題。
我煮的工作它是基本的測試,從卡夫卡的主題和寫作閱讀forEachBatch控製台。
在當地,indefinately一切都好。
在磚上,任務終止超過5分鍾後“取消”狀態。
日誌中沒有錯誤,隻是,這似乎是一個優雅的關閉請求,但我不知道它來自哪裏
22/11/04 18:31:30信息DriverCorral美元:清洗包裝replid - 1 ea30 - 8 e4c0 - 48422 a(目前狀態運行(replid - 1 ea30 - 8 e4c0 - 48422 a, ExecutionId(工作- 774316032912321 -運行- 84401 -行動- 5645198327600153),RunnableCommandId(9102993760433650959))) 22/11/04 18:31:30信息DAGScheduler:要求取消作業集團2207618020913201706 _9102993760433650959_job - 774316032912321 -運行- 84401 -行動- 5645198327600153 22/11/04 18:31:30信息ScalaDriverLocal:取消jobGroup: 2207618020913201706 _9102993760433650959_job - 774316032912321 -運行- 84401 -行動- 5645198327600153 22/11/04 18:31:30信息ScalaDriverWrapper:停止流commandId模式:CommandIdPattern(2207618020913201706,沒有,一些(工作- 774316032912321 -運行- 84401 -行動- 5645198327600153))。22/11/04 18:31:30信息DatabricksStreamingQueryListener:停止流(id = d41eff2a - 4 - de6 f17 - 8 d1c - 659 d1c1b8d98 runId = 5 bae9fb4-b5e1-45a0-af1e-a2f2553592c9] 22/11/04 18:31:30信息DAGScheduler:要求取消工作小組5 bae9fb4-b5e1-45a0-af1e-a2f2553592c9 22/11/04 18:31:30信息TaskSchedulerImpl:取消階段366 22/11/04 18:31:30信息TaskSchedulerImpl:殺死所有正在運行的任務階段366:階段取消22/11/04 18:31:30信息MicroBatchExecution: QueryExecutionThread.interruptAndAwaitExecutionThreadTermination稱為流查詢超時退出= 15000毫秒
任何想法嗎?
