監督分類模型的公平和偏見
預覽
這個特性是在公共預覽。
與磚Lakehouse監控,您可以監視一個分類模型的預測模型上執行類似的數據是否與不同群體相關。例如,您可以調查貸款違約是否分類器生成相同的假陽性率為申請人從不同的人口統計數據。
處理公平和偏差指標
公平和偏見的監控,您將創建一個布爾表達式。組織切片表達式定義的評估真正的被認為是受保護的組(即組你檢查的偏見)。例如,如果您創建slicing_exprs =[”時代<25”)片了slice_key= "年齡< 25”slice_value=真正的被認為是受保護的組和發現的片嗎slice_key= "年齡< 25”slice_value=假被認為是不受保護的組。
監視器自動計算指標組間比較分類模型的性能。以下指標報告概要指標表中:
predictive_parity組間比較模型的精度。predictive_equality組間比較假陽性利率。equal_opportunity衡量一個標簽是否為兩組同樣預測。statistical_parity衡量預測的結果在兩組之間的差異。
這些指標計算隻有在分析類型InferenceLog和problem_type是分類。
這些指標的定義,請參閱下麵的參考資料:
維基百科文章公平在機器學習:
https://en.wikipedia.org/wiki/Fairness_ (machine_learning)
公平和偏差指標輸出
看到API參考對這些指標和如何查看詳情指標表。所有公平和偏差度量共享相同的數據類型如下所示,顯示在一個公平的分數計算所有預測類“one-vs-all”作為鍵值對的方式。
您可以創建一個警告在這些指標上。例如,模型的所有者可以設置警報當公平指標超過某個閾值,然後警惕路線,一個隨叫隨到的人或團隊進行調查。