加載數據

存儲用於數據加載和模型檢查點的文件

機器學習應用程序可能需要使用共享存儲來進行數據加載和模型檢查點。這對於分布式深度學習尤為重要。

加載表格數據

您可以從加載表格式機器學習數據表或文件(例如，參見CSV文件)．方法可以將Apache Spark數據幀轉換為pandas數據幀PySpark方法toPandas ()，然後選擇轉換為NumPy格式熊貓的方法to_numpy ()．

為分布式培訓準備數據

本節介紹了為分布式訓練準備數據的兩種方法:petstorm和TFRecords。