配置模式推理和進化自動加載程序

語法模式推理和演化

指定目標目錄的選項cloudFiles.schemaLocation使模式推理和演化。你可以選擇使用你指定相同的目錄中checkpointLocation。如果你使用三角洲生活表,磚自動管理模式位置和其他檢查點信息。

下麵的示例使用拚花為cloudFiles.format。使用csv,avro,或json其他文件來源。所有其他設置讀寫保持不變每個格式的默認行為。

(火花。readStream。格式(“cloudFiles”)。選項(“cloudFiles.format”,“鋪”)#模式位置目錄跟蹤你的數據模式。選項(“cloudFiles.schemaLocation”,“< path-to-checkpoint >”)。負載(“< path-to-source-data >”)。writeStream。選項(“checkpointLocation”,“< path-to-checkpoint >”)。開始(“< path_to_target”))

火花。readStream。格式(“cloudFiles”)。選項(“cloudFiles.format”,“鋪”)/ /數據的模式位置目錄跟蹤模式。選項(“cloudFiles.schemaLocation”,“< path-to-checkpoint >”)。負載(“< path-to-source-data >”)。writeStream。選項(“checkpointLocation”,“< path-to-checkpoint >”)。開始(“< path_to_target”)

自動加載程序模式推理是如何工作的呢?

推斷模式首先讀取數據時,自動加載器樣品第一個50 GB或1000個文件,它發現,無論限製是越過第一。自動加載程序將模式信息存儲在一個目錄_schemas在配置cloudfFiles.schemaLocation跟蹤模式輸入數據隨著時間的變化。

火花。磚。cloudFiles。schemaInference。sampleSize。numBytes

火花。磚。cloudFiles。schemaInference。sampleSize。numFiles

默認情況下,自動加載程序模式推理尋求避免模式演化問題由於類型不匹配。格式不編碼數據類型(JSON和CSV),自動裝載機推斷所有列作為字符串(包括嵌套的JSON文件中的字段)。格式的輸入模式(拚花和Avro),自動加載器樣品的文件和一個子集合並單個文件的模式。這種行為是總結在下表中:

Apache火花DataFrameReader使用不同的行為模式推理,選擇數據類型列JSON和CSV基於樣本數據的來源。使這種行為與自動加載程序,設置選項cloudFiles.inferColumnTypes來真正的。

自動加載程序模式演化是如何工作的呢?

自動加載器檢測添加新列,因為它處理您的數據。當汽車加載程序檢測到一個新列,與一個流停止UnknownFieldException。在你流拋出這個錯誤,自動加載程序上執行模式推理的最新micro-batch數據和更新最新的模式位置模式通過合並新列的模式。現有的列的數據類型不變。

磚建議配置自動加載程序流工作流這樣的模式變化後自動重新啟動。

自動加載程序支持以下模式演化模式,你在選項中設置cloudFiles.schemaEvolutionMode:

分區使用自動加載程序如何?

自動加載程序試圖推斷出分區列從底層數據,如果數據的目錄結構是在蜂巢風格劃分。例如,文件路徑base_path /事件= = 2021-04-01 / f0.json點擊/日期推理的結果日期和事件分區列。如果底層的目錄結構包含矛盾的蜂巢分區或不包含蜂巢風格分區,分區列將被忽略。

二進製文件(binaryFile),文本文件格式有固定的數據模式,但支持分區列推理。磚建議設置cloudFiles.schemaLocation這些文件格式。這避免了任何潛在的錯誤或信息丟失,防止推理分區列每一次汽車加載程序就開始了。

分區列不考慮模式演化。如果你有一個初始目錄結構base_path /事件= = 2021-04-01 / f0.json點擊/日期,然後開始接收新文件base_path /事件=點擊/日期= 1 / f1.json = 2021-04-01 /小時、自動加載程序忽略了小時列。為新的分區列來捕捉信息,設置cloudFiles.partitionColumns來事件、日期、小時。

獲救的數據列是什麼?

當汽車裝載機推斷模式,救出了數據列是自動添加到您的模式_rescued_data。您可以重命名列或包括在這種情況下,你提供了一個模式通過設置選項rescuedDataColumn。

獲救的數據列確保列模式不匹配的拯救,而不是下降。獲救的數據列不包含任何數據分析有以下原因:

• 列是失蹤的模式。

• 類型不匹配。

• 不匹配。

獲救的列包含獲救的JSON數據列和源文件路徑的記錄。

改變大小寫敏感的行為

除非啟用區分大小寫,列美國廣播公司,美國廣播公司,美國廣播公司被認為是相同的列模式推理的目的。的選擇是任意的,取決於采樣數據。您可以使用模式提示執行這種情況下應該使用。一旦選擇了和模式推斷,自動加載程序沒有考慮套管變異沒有選擇與模式一致。

當獲救的數據列啟用,字段中指定其他比裝載模式_rescued_data列。改變這種行為通過設置選項readerCaseSensitive錯誤,在這種情況下,以不區分大小寫的方式自動加載器讀取數據。

覆蓋模式推理與提示

您可以使用模式提示執行模式信息,你知道,並期望在一個推斷模式。當你知道一個特定的數據類型的列,或者如果你想選擇一個更一般的數據類型(例如,一個雙而不是一個整數),您可以提供任意數量的提示對列數據類型為字符串使用SQL模式規範的語法,如以下:

。選項(“cloudFiles.schemaHints”,“標簽map < string, string >,版本int”)

看文檔數據類型支持的數據類型列表。

如果一列不存在的流,您還可以使用模式暗示這一列添加到推斷模式。

這裏是一個例子,一個推斷模式的行為模式提示。

推斷模式:

| - - -日期:字符串|——數量:int |——user_info:結構| | - id:字符串| | -名稱:字符串| |——羅伯特:字符串|——purchase_options:結構| |——delivery_address:字符串

通過指定以下模式提示:

。選項(“cloudFiles.schemaHints”,”user_info日期日期。捐贈日期、purchase_options MAP < STRING, STRING >,時間戳”)

你會得到:

| - - -日期:字符串- >日期|——數量:int |——user_info:結構| | - id:字符串| | -名稱:字符串| |——羅伯特:字符串- >日期|——purchase_options:結構- > map < string, string > |——時間:時間戳

這裏的一個例子是一個推斷模式和複雜的數據類型的行為模式提示。

推斷模式:

| - - -產品:數組<字符串> |——地點:數組<字符串> |——用戶:數組< struct > | |——用戶。元素:結構| | | - id:字符串| | | -名稱:字符串| | |——羅伯特:字符串| - id: map < string, string > |——名字:map < string, string > |——價格:map < string, string > |——折扣:map <結構、字符串> | | -折扣。關鍵:結構| | | - id:字符串| | -折扣。值:字符串|——描述:map < string, struct > | | - - -描述。關鍵:字符串| | - - -描述。價值:結構| | | -內容:int

通過指定以下模式提示:

。選項(“cloudFiles.schemaHints”,”產品數組< INT >,位置。元素字符串,users.element。INT id, id MAP < STRING, INT >,名字。關鍵的INT,價格。INT值,discounts.key。id INT, descriptions.value。內容字符串”)

你會得到:

| - - -產品:數組<字符串> - >組< int > |——地點:數組< int > - >組<字符串> |——用戶:數組< struct > | |——用戶。元素:結構| | | - id:字符串- > int | | | -名稱:字符串| | |——羅伯特:字符串| - id: map < string, string > - > map < string, int > |——名字:地圖<字符串,字符串> - > < int,字符串> |——價格:map < string, string > - > map < string, int > |——折扣:map <結構、字符串> | | -折扣。關鍵:結構| | | - id:字符串- > int | | -折扣。值:字符串|——描述:map < string, struct > | | - - -描述。關鍵:字符串| | - - -描述。價值:結構| | | -內容:int - >字符串