開始
用戶指南
管理指南
參考指南
資源
2022年11月04日更新
給我們反饋
TensorFlow是穀歌創建的用於機器學習的開源框架。支持cpu、gpu、gpu集群的深度學習和通用數值計算。它是受條款和條件的Apache 2.0許可.
用於機器學習的Databricks運行時包括TensorFlow和TensorBoard,所以你可以使用這些庫,而不安裝任何包。有關您正在使用的Databricks Runtime ML版本中安裝的TensorFlow版本,請參閱發布說明.
請注意
本指南不是關於TensorFlow的全麵指南。看到TensorFlow網站.
要測試和遷移單機工作流,請使用單節點集群.
有關深度學習的分布式培訓選項,請參見分布式訓練.
下麵的筆記本展示了如何運行TensorFlow(1。x和2.x),在單節點集群上使用TensorBoard監控。
在新選項卡中打開筆記本
TensorBoard是一套可視化工具,用於調試、優化和理解TensorFlow、PyTorch和其他機器學習程序。
在Databricks中啟動TensorBoard與在本地計算機上的Jupyter筆記本上啟動TensorBoard沒有什麼不同。
加載% tensorboardMagic命令並定義您的日誌目錄。
% tensorboard
%load_exttensorboardexperiment_log_dir=<日誌-目錄>
調用% tensorboard神奇的命令。
% tensorboard——logdir experiment_log_dir美元
TensorBoard服務器啟動並在筆記本中顯示內聯的用戶界麵。它還提供了在新選項卡中打開TensorBoard的鏈接。
下麵的截圖顯示了TensorBoard UI在一個填充的日誌目錄中啟動。
你也可以直接使用TensorBoard的筆記本模塊來啟動TensorBoard。
從tensorboard進口筆記本筆記本.開始(”——logdir{}".格式(experiment_log_dir))
要從筆記本啟動TensorBoard,請使用dbutils.tensorboard實用程序。
dbutils.tensorboard
dbutils.tensorboard.開始(“/ tmp / tensorflow_log_dir”)
該命令顯示一個鏈接,當單擊該鏈接時,將在一個新選項卡中打開TensorBoard。
當開始使用這個API時,TensorBoard會繼續運行,直到你用dbutils.tensorboard.stop ()或者關閉您的集群。
dbutils.tensorboard.stop ()
如果您將TensorFlow作為Databricks庫附加到集群中,那麼在啟動TensorBoard之前,您可能需要重新附加您的筆記本。
TensorBoard通過讀取TensorBoard回調和函數生成的日誌來可視化您的機器學習程序TensorBoard或PyTorch.要為其他機器學習庫生成日誌,可以直接使用TensorFlow文件寫入器寫入日誌(參見模塊:tf.summaryTensorFlow 2。x和看到模塊:tf.compat.v1.summary對於TensorFlow 1中的舊API。x)。
為了確保您的實驗日誌被可靠地存儲,Databricks建議將日誌寫入DBFS(即,下的日誌目錄)/ dbfs /)而不是在臨時集群文件係統上。對於每個實驗,在一個唯一的目錄中啟動TensorBoard。對於在生成日誌的實驗中機器學習代碼的每次運行,設置TensorBoard回調或filewriter來寫入實驗目錄的子目錄。這樣,TensorBoard UI中的數據將被分離到運行中。
/ dbfs /
閱讀官方的TensorBoard文檔開始使用TensorBoard為機器學習程序記錄信息。
在Databricks筆記本中啟動的TensorBoard進程不會在筆記本被分離或REPL重新啟動時終止(例如,當您清除筆記本的狀態時)。手動終止TensorBoard進程時,向它發送一個終止信號% sh殺了-15年pid.不恰當地終止TensorBoard進程可能會損壞notebook.list ().
% sh殺了-15年pid
notebook.list ()
要列出當前在您的集群上運行的TensorBoard服務器,以及它們對應的日誌目錄和進程id,請運行notebook.list ()從TensorBoard筆記本模塊。
內聯TensorBoard UI在一個iframe中。瀏覽器安全特性阻止UI中的外部鏈接工作,除非在新選項卡中打開鏈接。
的——window_titleTensorBoard的選項被覆蓋在數據庫上。
——window_title
默認情況下,TensorBoard掃描端口範圍來選擇監聽的端口。如果集群上運行的TensorBoard進程太多,端口範圍內的所有端口都可能不可用。方法指定端口號,可以繞過此限製——港口論點。指定的端口應該在6006到6106之間。
——港口
為了讓下載鏈接工作,您應該在一個選項卡中打開TensorBoard。
當使用TensorBoard 1.15.0時,投影儀選項卡是空白的。作為解決辦法,要直接訪問投影儀頁麵,可以替換#投影儀通過數據/插件/投影儀/ projector_binary.html.
#投影儀
數據/插件/投影儀/ projector_binary.html
TensorBoard 2.4.0有一個已知問題如果升級,可能會影響TensorBoard渲染。