擴大在維爾納的回答,您可以使用三角洲API來獲得這些信息。我建議你使用scala來訪問它。下麵是一些示例代碼,將退出
首先,我們做一個試驗測試與合並。這裏firstDelta隻是1000行,值1到1000。
從三角洲% python。表導入DeltaTable firstDelta = DeltaTable。forName(火花,“firstDF”) secondDF =火花。範圍(998、1004)firstDelta.alias(“第一”)。合並(secondDF.alias(“第二”),“第一。id = second.id”) \ .whenNotMatchedInsertAll () \ . execute ()
接下來,我們提取這個合並操作的操作指標之一:
% scala進口io.delta.tables._ val firstDF = DeltaTable.forName (firstDF) val operationMetrics = firstDF.history (1) .select (operationMetrics) .collect () (0) (0)。asInstanceOf [Map [String, String]] operationMetrics (“numTargetRowsInserted”)
這將返回3,自1001年以來,1002年和1003年被添加。
同樣,你可以與你的三角洲表後更新到目標表。