在大型企業中,有時甚至需要大型解決方案來處理最小的任務,ML也不例外。在康卡斯特,我們正在構建一個全麵的、基於配置的、持續集成和部署的平台,用於數據管道轉換、模型開發和部署。Beplay体育安卓版本這是使用一係列工具和框架完成的,如Databricks、MLflow、Apache Spark等。由於有數百名研究人員使用Databricks環境和pb級的數據,規模對康卡斯特來說至關重要,因此讓所有這些在無摩擦的體驗中協同工作是重中之重。
該平台由Beplay体育安卓版本許多組件組成:對數據管道和轉換的抽象,允許我們的數據科學家自由地組合來自不同框架的最合適的算法,使用MLflow進行實驗跟蹤,項目和模型打包,以及通過Kubernetes上的Kubeflow環境提供模型服務。
我們將討論平台的架構、進展和當前狀態,以及我們必須克服的挑戰,使這個平台在康卡斯特規模上工作。Beplay体育安卓版本作為一名機器學習從業者,您將在以下方麵獲得知識:數據管道抽象的示例;大規模包裝和跟蹤您的ML項目和實驗的方法;以及康卡斯特如何在Kubernetes上使用Kubeflow將所有內容整合在一起。
Nick是康卡斯特應用人工智能研究團隊機器學習管道和平台戰略的領導者。Beplay体育安卓版本多年來,他一直專注於軟件開發、大數據、分布式計算和電信研究。他目前正在UIUC攻讀計算機科學碩士學位,空閑時享受物聯網。