調度工作氣流導致每個任務運行多個工作。

[Tacuma]

嘿,每個人,我做成的集裝箱在磚pyspark工作運行,用氣流和編排。然而,我遇到一個問題。當我觸發一個氣流DAG,我看了日誌,我看到氣流旋轉多個作業的第一次嚐試。

這真的很奇怪。附上截圖,在這種情況下,我需要這份工作隻運行一次,但這裏3工作正在運行。

想知道如果本之前遇到任何補丁,並將發送集群和池配置細節要求。

[daniel_sahal]

這是奇怪的行為。你能分享一個氣流的樣本代碼?

[Tacuma]

謝謝丹尼爾。確定的事情。

[Debayan]

嗨@Tacuma所羅門,3配置相同的工作嗎?或3工作運行?

[Tacuma]

我想兩個都是嗎?是的,所有工作共享相同的配置,我的問題是為什麼在同一個氣流任務日誌中,有三個工作運行。我希望有一些款,可能會給我一些線索。