取消
顯示的結果
而不是尋找
你的意思是:

捕捉num_affected_rows筆記本

BigJay
新的貢獻者二世

如果我運行一些代碼,表示為一個ETL過程從青銅銀存儲遷移數據,當一個細胞執行它報告num_affected_rows表中的格式。我想捕捉我的日誌和日誌。是存儲在一個變量中還是syslog的地方嗎?

5回複5

werners1
尊敬的貢獻者三世

常見的引發沒有這個num_affected_rows的。我假設您執行三角洲湖的行動。

你可以獲取這個從json文件存儲在_delta湖文件夾。

在這些文件中有一個成員稱為“operationmetrics”。

//www.eheci.com/discover/diving-into-delta-lake-talks/unpacking-transaction-log

優秀的視頻三角洲湖事務日誌是如何工作的。

Dan_Z
尊敬的貢獻者

擴大在維爾納的回答,您可以使用三角洲API來獲得這些信息。我建議你使用scala來訪問它。下麵是一些示例代碼,將退出

首先,我們做一個試驗測試與合並。這裏firstDelta隻是1000行,值1到1000。

從三角洲% python。表導入DeltaTable firstDelta = DeltaTable。forName(火花,“firstDF”) secondDF =火花。範圍(998、1004)firstDelta.alias(“第一”)。合並(secondDF.alias(“第二”),“第一。id = second.id”) \ .whenNotMatchedInsertAll () \ . execute ()

接下來,我們提取這個合並操作的操作指標之一:

% scala進口io.delta.tables._ val firstDF = DeltaTable.forName (firstDF) val operationMetrics = firstDF.history (1) .select (operationMetrics) .collect () (0) (0)。asInstanceOf [Map [String, String]] operationMetrics (“numTargetRowsInserted”)

這將返回3,自1001年以來,1002年和1003年被添加。

同樣,你可以與你的三角洲表後更新到目標表。

嗨@John史密斯,

請確認選擇@Dan征服者反應最佳答案如果這篇文章解決了你的問題。它將帖子頂部和它將有助於解決未來其他客戶的提問。

謝謝你!

BigJay
新的貢獻者二世

@Dan征服者謝謝你,我會努力。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map