捕捉num_affected_rows筆記本

[BigJay]

如果我運行一些代碼,表示為一個ETL過程從青銅銀存儲遷移數據,當一個細胞執行它報告num_affected_rows表中的格式。我想捕捉我的日誌和日誌。是存儲在一個變量中還是syslog的地方嗎?

[werners1]

常見的引發沒有這個num_affected_rows的。我假設您執行三角洲湖的行動。

你可以獲取這個從json文件存儲在_delta湖文件夾。

在這些文件中有一個成員稱為“operationmetrics”。

//www.eheci.com/discover/diving-into-delta-lake-talks/unpacking-transaction-log

優秀的視頻三角洲湖事務日誌是如何工作的。

[Dan_Z]

擴大在維爾納的回答,您可以使用三角洲API來獲得這些信息。我建議你使用scala來訪問它。下麵是一些示例代碼,將退出

首先,我們做一個試驗測試與合並。這裏firstDelta隻是1000行,值1到1000。

從三角洲% python。表導入DeltaTable firstDelta = DeltaTable。forName(火花,“firstDF”) secondDF =火花。範圍(998、1004)firstDelta.alias(“第一”)。合並(secondDF.alias(“第二”),“第一。id = second.id”) \ .whenNotMatchedInsertAll () \ . execute ()

接下來,我們提取這個合並操作的操作指標之一:

% scala進口io.delta.tables._ val firstDF = DeltaTable.forName (firstDF) val operationMetrics = firstDF.history (1) .select (operationMetrics) .collect () (0) (0)。asInstanceOf [Map [String, String]] operationMetrics (“numTargetRowsInserted”)

這將返回3,自1001年以來,1002年和1003年被添加。

同樣,你可以與你的三角洲表後更新到目標表。

[jose_gonzalez]

嗨@John史密斯,

請確認選擇@Dan征服者反應最佳答案如果這篇文章解決了你的問題。它將帖子頂部和它將有助於解決未來其他客戶的提問。

謝謝你！

[BigJay]

@Dan征服者謝謝你,我會努力。