取消
顯示的結果
而不是尋找
你的意思是:

從內部訪問工作流設置一個筆記本。

159312年
新的貢獻者三世

我有一個筆記本電腦用於dlt管道。管道應該執行一個額外的任務如果管道運行作為一個完整的刷新。現在,我必須設置一個額外的配置參數當我運行一個完整的刷新。有辦法以編程方式訪問當前運行是否full_refresh或正常運行?

4回複4

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

@Ben鮑嘉create_update事件日誌表可以查詢知道如果它是full_refresh或定期運行。

另外,此外,

2.0 /管道/ {pipeline_id} /更新

上麵的API調用應該返回更新ID。

你可以得到更新細節update_id通過使用以下API:

2.0 /管道/ {pipeline_id} /更新/ {update_id}

JSON響應體應該有一個字段“full_refresh:真|假”。

159312年
新的貢獻者三世

@Debayan穆克吉我想從內部自動化這個筆記本是多個管道的一部分。兩種解決方案需要知道“pipeline_id”。我怎麼能從管道內訪問管道id運行?

參考鏈接為未來的讀者:

文檔查詢日誌

管道可以找到id運行使用:

spark.conf.get (“pipelines.id”)

Vidula
尊敬的貢獻者

嗨@Ben鮑嘉

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map