XML文件

需求

1. 創建spark-xml圖書館作為Maven庫．對於Maven坐標，指定:

   • Databricks RuntimeX及以上:com.databricks: spark-xml_2.12: <版本>

   看到spark-xml釋放< / >的最新版本<版本>．

2. 安裝庫集群上。

例子

本節中的示例使用書< / >XML文件。

1. 檢索圖書XML文件:

   $ wget https://github.com/databricks/spark-xml/raw/master/src/test/resources/books.xml

2. 將文件上載至DBFS．

/ * * /推斷模式創建表格書使用xml選項（路徑“dbfs: / books.xml”，rowTag“書”）/*指定列名和類型*/創建表格書（作者字符串，描述字符串，類型字符串，_id字符串，價格雙，publish_date字符串，標題字符串）使用xml選項（路徑“dbfs: / books.xml”，rowTag“書”）

//計算模式進口com．磚．火花．xml．＿//添加DataFrame.read.xml()方法瓦爾df＝火花．讀．選項（“rowTag”，“書”）．xml（“dbfs: / books.xml”）瓦爾selectedData＝df．選擇（“作者”，“_id”）selectedData．寫．選項（“rootTag”，“書”）．選項（“rowTag”，“書”）．xml（“dbfs: / newbooks.xml”）//指定模式進口org．apache．火花．sql．類型．{StructType，StructField，StringType，倍增式｝瓦爾customSchema＝StructType（數組（StructField（“_id”，StringType，可以為空＝真正的)，StructField（“作者”，StringType，可以為空＝真正的)，StructField（“描述”，StringType，可以為空＝真正的)，StructField（“類型”，StringType，可以為空＝真正的)，StructField（“價格”，倍增式，可以為空＝真正的)，StructField（“publish_date”，StringType，可以為空＝真正的)，StructField（“標題”，StringType，可以為空＝真正的)))瓦爾df＝火花．讀．選項（“rowTag”，“書”）．模式（customSchema）．xml（“books.xml”）瓦爾selectedData＝df．選擇（“作者”，“_id”）selectedData．寫．選項（“rootTag”，“書”）．選項（“rowTag”，“書”）．xml（“dbfs: / newbooks.xml”）

#推斷模式圖書館（SparkR）sparkR.session（“地方[4]”，sparkPackages＝c（“com.databricks: spark-xml_2.12: <版本> "）)df<-read.df（“dbfs: / books.xml”，源＝“xml”，rowTag＝“書”）#默認的' rootTag '和' rowTag 'write.df（df，“dbfs: / newbooks.xml”，“xml”）#指定模式customSchema<-structType（structField（“_id”，“字符串”)，structField（“作者”，“字符串”)，structField（“描述”，“字符串”)，structField（“類型”，“字符串”)，structField（“價格”，“替身”)，structField（“publish_date”，“字符串”)，structField（“標題”，“字符串”）)df<-read.df（“dbfs: / books.xml”，源＝“xml”，模式＝customSchema，rowTag＝“書”）#在本例中，' rootTag '被設置為“ROWS”，' rowTag '被設置為“ROW”。write.df（df，“dbfs: / newbooks.xml”，“xml”，“覆蓋”）

選項

• 讀

  • 路徑: XML文件的位置。接受標準Hadoop通配符表達式。

  • rowTag:作為行處理的行標記。例如，在這個XML中<書> <書> <書>…< / >的書，則值為書．默認是行．

  • samplingRatio:模式推斷的抽樣比(0.0 ~ 1)，默認為1。可能的類型有StructType，ArrayType，StringType，LongType，倍增式，BooleanType，TimestampType而且NullType，除非您提供模式。

  • excludeAttribute:是否排除元素中的屬性。默認為false。

  • nullValue:作為值處理的值零價值。默認是＂＂．

  • 模式:處理損壞記錄的模式。默認是寬容的．

    • 寬容的：

      • 當它遇到損壞的記錄時，將所有字段設置為零並將格式錯誤的字符串放入配置的新字段columnNameOfCorruptRecord．

      • 當它遇到錯誤數據類型的字段時，將有問題的字段設置為零．

    • DROPMALFORMED:忽略損壞的記錄。

    • FAILFAST:當檢測到損壞的記錄時拋出異常。

  • inferSchema:如果真正的，嚐試為每個結果DataFrame列推斷適當的類型，如布爾型、數字型或日期型。如果假，所有產生的列都是字符串類型。默認是真正的．

  • columnNameOfCorruptRecord:存儲畸形字符串的新字段名。默認是_corrupt_record．

  • attributePrefix:屬性的前綴，用於區分屬性和元素。這是字段名的前綴。默認是＿．

  • valueTag:當元素中有屬性而沒有子元素時，用於值的標記。默認是_VALUE．

  • 字符集:默認為utf - 8但可以設置為其他有效的字符集名稱。

  • ignoreSurroundingSpaces:是否應該跳過圍繞值的空格。默認為false。

  • rowValidationXSDPath:用於驗證每一行的XML的XSD文件的路徑。驗證失敗的行如上所述被當作解析錯誤處理。XSD不會影響所提供或推斷的模式。如果相同的本地路徑在集群中的執行器上還不可見，那麼XSD和它所依賴的任何其他路徑都應該添加到Spark執行器中SparkContext.addFile< / >．在本例中，使用本地XSD/ foo / bar.xsd,叫addFile(“/ foo / bar.xsd”)並通過“bar.xsd”作為rowValidationXSDPath．

• 寫

  • 路徑:寫入文件的位置。

  • rowTag:作為行處理的行標記。例如，在這個XML中<書> <書> <書>…< / >的書，則值為書．默認是行．

  • rootTag:要作為根處理的根標記。例如，在這個XML中<書> <書> <書>…< / >的書，則值為書．默認是行．

  • nullValue:要寫入的值零價值。默認是字符串“零”．當“零”，它不為字段寫屬性和元素。

  • attributePrefix:屬性的前綴，用於區分屬性和元素。這是字段名的前綴。默認是＿．

  • valueTag:當元素中有屬性而沒有子元素時，用於值的標記。默認是_VALUE．

  • 壓縮:保存到文件時使用的壓縮編解碼器。應該是類實現的完全限定名嗎org.apache.hadoop.io.compress.CompressionCodec或不區分大小寫的短名稱之一(bzip2，gzip，lz4,時髦的)．默認是不壓縮。

XSD的支持

您可以根據XSD模式使用rowValidationXSDPath．

你使用工具com.databricks.spark.xml.util.XSDToSchema從中提取Spark DataFrame模式一些XSD文件。它隻支持簡單、複雜和序列類型，隻支持基本的XSD功能，而且是實驗性的。

進口com．磚．火花．xml．跑龍套．XSDToSchema進口java．nio．文件．路徑瓦爾模式＝XSDToSchema．讀（路徑．得到（“/道路/ / your.xsd”）)瓦爾df＝火花．讀．模式（模式)…xml（...）

解析嵌套XML

雖然主要用於將XML文件轉換為DataFrame，但也可以使用from_xml方法來解析現有DataFrame中字符串值的列中的XML，並將其添加為一個具有解析結果的新列，作為一個結構體:

進口com．磚．火花．xml．功能．from_xml進口com．磚．火花．xml．schema_of_xml進口火花．值得一提的．＿瓦爾df＝.．./// DataFrame包含列'payload'中的XML瓦爾payloadSchema＝schema_of_xml（df．選擇（“有效載荷”)．作為［字符串])瓦爾解析＝df．withColumn（“解析”，from_xml（＄“有效載荷”，payloadSchema）)

轉換規則

由於DataFrame和XML之間的結構差異，存在一些從XML數據到DataFrame以及從DataFrame到XML數據的轉換規則。您可以使用該選項禁用處理屬性excludeAttribute．

|--一個：數組（可以為空＝真正的）||--元素：數組（containsNull＝真正的）|||--元素：字符串（containsNull＝真正的）

+------------------------------------+|一個|+------------------------------------+|［WrappedArray（aa)，WrappedArray（bb）]|+------------------------------------+

<一><項目>aa> < /項目< / ><一><項目>bb> < /項目< / >