08-05-2022上午11:57
我有一個筆記本電腦用於dlt管道。管道應該執行一個額外的任務如果管道運行作為一個完整的刷新。現在,我必須設置一個額外的配置參數當我運行一個完整的刷新。有辦法以編程方式訪問當前運行是否full_refresh或正常運行?
08-08-2022上午09:30
@Ben鮑嘉create_update事件日誌表可以查詢知道如果它是full_refresh或定期運行。
另外,此外,
2.0 /管道/ {pipeline_id} /更新
上麵的API調用應該返回更新ID。
你可以得到更新細節update_id通過使用以下API:
2.0 /管道/ {pipeline_id} /更新/ {update_id}
JSON響應體應該有一個字段“full_refresh:真|假”。
08-10-2022上午08:09
@Debayan穆克吉我想從內部自動化這個筆記本是多個管道的一部分。兩種解決方案需要知道“pipeline_id”。我怎麼能從管道內訪問管道id運行?
參考鏈接為未來的讀者:
文檔查詢日誌
08-30-202205:10我
管道可以找到id運行使用:
spark.conf.get (“pipelines.id”)
09-20-202202:49我
嗨@Ben鮑嘉
希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。
我們很想聽到你的聲音。
謝謝!
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。