CSV文件

選項

您可以為CSV文件數據源配置多個選項。有關支持的讀寫選項，請參閱以下Apache Spark參考文章。

• 讀

  • Python

  • Scala

• 寫

  • Python

  • Scala

處理格式錯誤的CSV記錄

讀取具有指定模式的CSV文件時，文件中的數據可能與模式不匹配。例如，包含城市名稱的字段將不會解析為整數。結果取決於解析器運行的模式:

• 寬容的(默認):為不能正確解析的字段插入空值

• DROPMALFORMED:刪除包含不能解析的字段的行

• FAILFAST:如果發現任何格式錯誤的數據，將中止讀取

要設置模式，請使用模式選擇。

diamonds_df＝（火花．讀．格式（“csv”）．選項（“模式”，“寬容”）．負載（“/ databricks-datasets / Rdatasets /數據- 001 / csv / ggplot2 / diamonds.csv”））

在寬容的模式下，可以使用以下方法之一檢查不能正確解析的行:

• 您可以提供該選項的自定義路徑badRecordsPath將損壞的記錄記錄到一個文件中。

• 您可以添加列_corrupt_record到提供給dataframerader的模式，以審查結果DataFrame中的損壞記錄。

獲救數據列

當使用寬容的模式下，您可以啟用已保存的數據列來捕獲任何未被解析的數據，因為記錄中的一個或多個字段存在以下問題之一:

• 不在提供的模式中。

• 與提供的模式的數據類型不匹配。

• 大小寫與所提供模式中的字段名不匹配。

獲救的數據列作為一個JSON文檔返回，其中包含獲救的列和記錄的源文件路徑(源文件路徑在Databricks Runtime 8.3及以上版本中可用)。要從已保存的數據列中刪除源文件路徑，可以設置SQL配置spark.conf.set(“spark.databricks.sql.rescuedDataColumn.filePath.enabled”,“假”)．可以通過設置該選項啟用已保存的數據列rescuedDataColumn在讀取數據時，將其轉換為列名，例如_rescued_data與spark.read.option(“rescuedDataColumn”,“_rescued_data”).format (csv) .load(<路徑>)．

CSV解析器支持三種解析方式:寬容的，DROPMALFORMED,FAILFAST．當與rescuedDataColumn，數據類型不匹配不會導致記錄被刪除DROPMALFORMED模式或拋出錯誤FAILFAST模式。隻有損壞的記錄(即不完整或格式錯誤的csv)才會被刪除或拋出錯誤。

當rescuedDataColumn用於寬容的模式時，適用於腐敗的記錄：

• 文件的第一行(標題行或數據行)設置預期的行長。

• 具有不同列數的行被認為是不完整的。

• 數據類型不匹配不被認為是損壞記錄。

• 隻有不完整和格式錯誤的CSV記錄才會被認為是損壞的，並記錄到_corrupt_record列或badRecordsPath．

例子

這些例子使用鑽石的數據集．指定數據集的路徑以及所需的任何選項。