JSON文件

選項

有關支持的讀寫選項，請參閱以下Apache Spark參考文章。

• 讀

  • Python

  • Scala

• 寫

  • Python

  • Scala

獲救數據列

獲救的數據列確保在ETL期間不會丟失或錯過數據。獲救的數據列包含任何未解析的數據，這可能是因為給定模式中缺少這些數據，也可能是因為類型不匹配，或者是因為記錄或文件中列的外殼與模式中的不匹配。獲救的數據列作為一個JSON blob返回，其中包含獲救的列和記錄的源文件路徑(源文件路徑在Databricks Runtime 8.3及以上版本中可用)。要從已保存的數據列中刪除源文件路徑，可以設置SQL配置spark.conf.set(“spark.databricks.sql.rescuedDataColumn.filePath.enabled”,“假”)．可以通過設置該選項啟用已保存的數據列rescuedDataColumn到列名，例如_rescued_data與spark.read.option(“rescuedDataColumn”,“_rescued_data”).format (json) .load(<路徑>)．

JSON解析器在解析記錄時支持三種模式:寬容的，DROPMALFORMED,FAILFAST．當與rescuedDataColumn，數據類型不匹配不會導致記錄被刪除DROPMALFORMED模式或拋出錯誤FAILFAST模式。隻有損壞的記錄(即不完整或畸形的json)才會被丟棄或拋出錯誤。如果你使用這個選項badRecordsPath在解析JSON時，數據類型不匹配不被認為是壞記錄rescuedDataColumn．僅存儲不完整和格式錯誤的JSON記錄badRecordsPath．

例子

｛“字符串”：“string1”，“int”：1，“數組”：［1，2，3.]，“東西”：｛“關鍵”：“value1”}}｛“字符串”：“string2相等”，“int”：2，“數組”：［2，4，6]，“東西”：｛“關鍵”：“value2”}}｛“字符串”：“string3”，“int”：3.，“數組”：［3.，6，9]，“東西”：｛“關鍵”：“value3”，“extra_key”：“extra_value3”}}

瓦爾df＝火花．讀．格式（“json”）.負載（“example.json”）

df．printSchema

根|--數組：數組（可以為空＝真正的）||--元素：長（containsNull＝真正的）|--dict：結構體（可以為空＝真正的）||--extra_key：字符串（可以為空＝真正的）||--關鍵：字符串（可以為空＝真正的）|--int：長（可以為空＝真正的）|--字符串：字符串（可以為空＝真正的）

［｛“字符串”：“string1”，“int”：1，“數組”：［1，2，3.]，“東西”：｛“關鍵”：“value1”}},｛“字符串”：“string2相等”，“int”：2，“數組”：［2，4，6]，“東西”：｛“關鍵”：“value2”}},｛“字符串”：“string3”，“int”：3.，“數組”：［3.，6，9]，“東西”：｛“關鍵”：“value3”，“extra_key”：“extra_value3”｝｝］

創建臨時視圖multiLineJsonTable使用json選項（路徑＝“/ tmp / multi-line.json”，多行＝真正的）

瓦爾mdf＝火花．讀．選項（“多行”，“真正的”）.格式（“json”）.負載（“/ tmp / multi-line.json”）mdf．顯示（假）

火花．讀．選項（“字符集”，“UTF-16BE”）．格式（“json”）．負載（“fileInUTF16.json”）

筆記本

下麵的筆記本演示了單線和多線模式。