使用API創建監視器
預覽
這個特性是在公共預覽。
本頁麵描述了如何創建一個監控在磚和描述所有的API調用中使用的參數。
您可以創建一個監視在任何管理或外部三角洲統一注冊表目錄。隻有一個顯示器可以在統一目錄創建metastore表。
Lakehouse監測API的細節,請參閱API參考。
概要文件類型參數
的profile_type參數確定的指標,監測計算表。有三種類型:快照,TimeSeries, InferenceLog。本節簡要描述了參數。詳情,請參閱API參考。
TimeSeries配置文件
一個TimeSeries概要文件比較數據分布跨越時間窗口。對於一個TimeSeries概要文件,您必須提供時間戳列(timestamp_col)和一組粒度在計算指標。可用的粒度“5分鍾”,“30分鍾”,“1小時”,“一天”,“n周(s)”,“一個月”,“1年”。
從磚進口lakehouse_monitoring作為lmlm。create_monitor(table_name=f”{目錄}。{模式}。{table_name}”,profile_type=lm。TimeSeries(timestamp_col=“t”,粒度=(“30分鍾”]),output_schema_name=f”{目錄}。{模式}”)
快照配置文件
相比TimeSeries,一個快照概要文件監控表的完整內容如何隨時間變化。指標計算表中所有數據,並監控表在每次刷新監控狀態。
從磚進口lakehouse_monitoring作為lmlm。create_monitor(table_name=f”{目錄}。{模式}。{table_name}”,profile_type=lm。快照(),output_schema_name=f”{目錄}。{模式}”)
InferenceLog配置文件
一個InferenceLog概要文件是類似的TimeSeries配置文件還包括質量度量模型。對於一個InferenceLog配置文件,需要以下參數:
參數 |
描述 |
|---|---|
|
“分類”或“回歸”。 |
|
列包含模型的預測值。 |
|
包含推理請求的時間戳列。 |
|
包含的id列模型用於預測。 |
|
決定如何在windows分區數據在時間。可能的值:“5分鍾”,“30分鍾”,“1小時”,“一天”,“n周(s)”,“一個月”,“1年”。 |
還有一個可選參數:
可選參數 |
描述 |
|---|---|
|
列包含地麵真值預測模型。 |
從磚進口lakehouse_monitoring作為lmlm。create_monitor(table_name=f”{目錄}。{模式}。{table_name}”,profile_type=lm。InferenceLog(problem_type=“分類”,prediction_col=“僅僅”,timestamp_col=“t”,粒度=(“30分鍾”,“一天”),model_id_col=“model_ver”,label_col=“標簽”,#可選),output_schema_name=f”{目錄}。{模式}”)
InferenceLog概要,片自動創建基於不同值的model_id_col。
刷新和查看監控結果
刷新指標表,使用run_refresh。例如:
從磚進口lakehouse_monitoring作為lmlm。run_refresh(table_name=f”{目錄}。{模式}。{table_name}”)
當你打電話run_refresh從一個筆記本,監測指標表創建或更新。這個計算serverless計算上運行,而不是在集群上的筆記本相連。您可以繼續在筆記本上運行命令而監控統計數據更新。
中存儲的信息統計指標表,看看監控指標表指標表統一目錄表。你可以查詢他們在筆記本或SQL查詢的探險家,在數據瀏覽和查看它們。
顯示所有刷新與監測相關的曆史,使用list_refreshes。
從磚進口lakehouse_monitoring作為lmlm。list_refreshes(table_name=f”{目錄}。{模式}。{table_name}”)
具體運行的狀態,一直在排隊,跑步,或者完成時,使用get_refresh。
從磚進口lakehouse_monitoring作為lmrun_info=lm。run_refresh(table_name=f”{目錄}。{模式}。{table_name}”)lm。get_refresh(table_name=f”{目錄}。{模式}。{table_name}”,refresh_id=run_info。refresh_id)
時間表
建立一個監控計劃的基礎上運行,使用時間表參數的create_monitor:
lm。create_monitor(table_name=f”{目錄}。{模式}。{table_name}”,profile_type=lm。TimeSeries(timestamp_col=“t”,粒度=(“30分鍾”]),時間表=lm。MonitorCronSchedule(quartz_cron_expression=“0 0 12 * * ?”,#安排每天在中午12點刷新timezone_id=“太平洋標準時間”,),output_schema_name=f”{目錄}。{模式}”)
看到cron表達式為更多的信息。