捕獲和視圖數據沿襲統一目錄

捕獲和探索血統

捕捉譜係數據,使用以下步驟:

1. 去你的磚的著陸頁,點擊新在側邊欄,選擇筆記本從菜單中。

2. 筆記本並選擇輸入一個名稱SQL在默認的語言。

3. 在集群,選擇一個集群提供統一目錄。

4. 點擊創建。

5. 在第一個筆記本電池,輸入以下查詢:

   創建表如果不存在lineage_data。lineagedemo。菜單(recipe_idINT,應用程序字符串,主要字符串,甜點字符串);插入成lineage_data。lineagedemo。菜單(recipe_id,應用程序,主要,甜點)值(1,“酸橘汁醃魚,“玉米餅”,“坯子”),(2,“番茄湯”,“雜音”,“焦糖布丁”),(3,“芯片”,“烤奶酪”,“芝士蛋糕”);創建表lineage_data。lineagedemo。晚餐作為選擇recipe_id,concat(應用程序,“+”,主要,“+”,甜點)作為full_menu從lineage_data。lineagedemo。菜單

6. 運行查詢,點擊在細胞和媒體shift + enter或者點擊並選擇運行單元。

使用數據瀏覽器來查看這些查詢生成的血統,使用以下步驟:

1. 在搜索框欄頂部的磚工作區,回車lineage_data.lineagedemo.dinner並點擊搜索lineage_data.lineagedemo。晚餐在磚。

2. 下表,單擊晚餐表。

3. 選擇血統選項卡。血統麵板出現並顯示相關的表(在這個例子中菜單表)。

4. 查看數據沿襲的交互式圖形,點擊看到譜係圖。默認情況下,一層顯示在圖。你可以點擊圖標在節點上透露更多連接是否可用。

5. 點擊箭頭打開血統中連接節點圖血統聯係麵板。的血統聯係麵板顯示連接的詳細信息,包括源和目標表,筆記本電腦,和工作流。

   

6. 顯示相關的筆記本晚餐表,選擇的筆記本血統聯係麵板或關閉譜係圖,然後點擊筆記本電腦。在新標簽頁打開筆記本,點擊筆記本的名字。

7. 查看列級血統,點擊圖中的一列顯示鏈接到相關的列。例如,單擊“full_menu”列顯示上遊列列是來自:

   

演示創建和查看血統有不同的語言,例如,Python,使用以下步驟:

1. 打開筆記本您在前麵創建,創建一個新細胞,並輸入以下Python代碼:

   %python從pyspark.sql.functions進口蘭德,輪df=火花。範圍(3)。withColumn(“價格”,輪(10*蘭德(種子=42),2))。withColumnRenamed(“id”,“recipe_id”)df。寫。模式(“覆蓋”)。saveAsTable(“lineage_data.lineagedemo.price”)晚餐=火花。讀。表(“lineage_data.lineagedemo.dinner”)價格=火花。讀。表(“lineage_data.lineagedemo.price”)dinner_price=晚餐。加入(價格,在=“recipe_id”)dinner_price。寫。模式(“覆蓋”)。saveAsTable(“lineage_data.lineagedemo.dinner_price”)

2. 在細胞和細胞通過點擊運行緊迫shift + enter或者點擊並選擇運行單元。

3. 在搜索框欄頂部的磚工作區,回車lineage_data.lineagedemo.price並點擊搜索lineage_data.lineagedemo。價格在磚。

4. 下表,單擊價格表。

5. 選擇血統選項卡並單擊看到譜係圖。點擊圖標探索數據沿襲和Python查詢生成的SQL。

   

6. 點擊箭頭打開血統中連接節點圖血統聯係麵板。的血統聯係麵板顯示連接的詳細信息,包括源和目標表,筆記本電腦,和工作流。

捕捉並查看工作流血統

血統也捕捉到任何讀取或寫入聯合目錄的工作流。為了演示觀看磚工作流的血統,使用以下步驟:

1. 去你的磚的著陸頁,切換到數據科學與工程形象。

2. 點擊新在側邊欄並選擇筆記本從菜單中。

3. 筆記本並選擇輸入一個名稱SQL在默認的語言。

4. 點擊創建。

5. 在第一個筆記本電池,輸入以下查詢:

   選擇*從lineage_data。lineagedemo。菜單

6. 點擊時間表在窗口的頂部。在進度對話框中,選擇手冊,選擇一個集群提供統一目錄,然後單擊創建。

7. 點擊現在運行。

8. 在搜索框欄頂部的磚工作區,回車lineage_data.lineagedemo.menu並點擊搜索lineage_data.lineagedemo。菜單在磚。

9. 下表查看所有表,單擊菜單表。

10. 選擇血統選項卡上,單擊工作流,並選擇下遊選項卡。工作名稱出現作業名作為一個消費者菜單表。

捕捉並查看儀表板血統

為了演示查看SQL儀表板的血統,使用以下步驟:

1. 去你磚的著陸頁,打開數據瀏覽點擊數據在側邊欄。

2. 點擊目錄名稱,點擊lineagedemo,並選擇菜單表。您還可以使用搜索表文本框頂部欄搜索菜單表。

3. 點擊行動>創建一個快速的儀表板。

4. 選擇列添加到儀表板和點擊創建。

5. 在搜索框欄頂部的磚工作區,回車lineage_data.lineagedemo.menu並點擊搜索lineage_data.lineagedemo。菜單在磚。

6. 下表查看所有表,單擊菜單表。

7. 選擇血統選項卡並單擊指示板。儀表板的名字出現儀表板的名字作為一個消費者的菜單表。

檢索表血統

這個示例檢索譜係數據晚餐表。

curl——netrc - x\- h“application / json內容類型:\https:// < databricks-instance . . / api / 2.0 / lineage-tracking / table-lineage\- d{“table_name”:“lineage_data.lineagedemo。晚餐”、“include_entity_lineage”:真}}’

{“上遊”:({“tableInfo”:{“名稱”:“菜單”,“catalog_name”:“lineage_data”,“schema_name”:“lineagedemo”,“table_type”:“表”},“notebookInfos”:({“workspace_id”:4169371664718798,“notebook_id”:1111169262439324}]}),“下遊”:({“notebookInfos”:({“workspace_id”:4169371664718798,“notebook_id”:1111169262439324}]},{“tableInfo”:{“名稱”:“dinner_price”,“catalog_name”:“lineage_data”,“schema_name”:“lineagedemo”,“table_type”:“表”},“notebookInfos”:({“workspace_id”:4169371664718798,“notebook_id”:1111169262439324}]}]}

檢索列血統

這個示例檢索列數據晚餐表。

curl——netrc - x\- h“application / json內容類型:\https:// < databricks-instance . . / api / 2.0 / lineage-tracking / column-lineage\- d{“table_name”:“lineage_data.lineagedemo。晚餐”、“column_name ": "甜點"}}’

{“upstream_cols”:({“名稱”:“甜點”,“catalog_name”:“lineage_data”,“schema_name”:“lineagedemo”,“table_name”:“菜單”,“table_type”:“表”},{“名稱”:“主要”,“catalog_name”:“lineage_data”,“schema_name”:“lineagedemo”,“table_name”:“菜單”,“table_type”:“表”},{“名稱”:“應用程序”,“catalog_name”:“lineage_data”,“schema_name”:“lineagedemo”,“table_name”:“菜單”,“table_type”:“表”}),“downstream_cols”:({“名稱”:“full_menu”,“catalog_name”:“lineage_data”,“schema_name”:“lineagedemo”,“table_name”:“dinner_price”,“table_type”:“表”}]}