深入三角洲湖:模式執行&進化

通過Burak•,布蘭諾Heintz和丹尼李

2019年9月24日在公司博客上

分享這篇文章

在磚試試這個筆記本係列

數據,像我們的經曆,總是演變和積累。繼續,我們對世界的心智模式必須適應新數據,其中一些包含新的維度,我們沒有看到事情的新方法的概念。這些思維模式並不與表的模式,定義如何分類和處理新信息。

這給我們帶來了模式管理。隨著業務問題和需求的發展隨著時間的推移,也會你的數據的結構。與三角洲湖 ,隨著數據的變化,將新的維度是很容易的。用戶獲得簡單的語義控製模式的表。這些工具包括模式執行,這可以防止用戶不小心汙染與錯誤的表或垃圾數據,以及模式演化,這使他們能夠自動添加新列屬於當這些豐富的數據列。在這個博客中,我們將深入的使用這些工具。

理解表模式

每個DataFrame Apache火花™包含一個模式,一個藍圖,它定義的形狀數據,如數據類型和列,和元數據。三角洲湖,表的模式是JSON格式保存在內部事務日誌。

執行模式是什麼?

模式執行,也被稱為模式驗證,是三角洲湖的維護,確保數據質量拒絕寫入一個表,表的模式不一致。像前台經理繁忙的餐廳隻接受預訂,它檢查是否數據插入到表中每一列是在其預期的列表列(換句話說,是否每一個都有一個“預訂”),並拒絕任何寫列沒有上榜。

執行模式是如何工作的呢?

三角洲湖使用模式驗證在寫,這意味著所有新寫入表檢查兼容性與目標表的模式寫時間。如果模式不兼容,三角洲湖完全取消交易(沒有數據寫入),並提出了一個異常,讓用戶了解不匹配。

決定寫一個表是否兼容,三角洲湖使用以下規則。DataFrame編寫:

不能包含任何額外的列不存在目標表的模式。相反的,沒關係,如果傳入的數據不包含表中的每一列,這些列將被分配null值。
不能有不同的列數據類型的列的數據類型在目標表中。如果一個目標表的列包含StringType數據,但相應的列DataFrame包含IntegerType數據,模式的實施將引發一個異常,防止寫操作。
不能隻包含列名不同的情況。這意味著您不能列如“Foo”和“Foo”定義在相同的表。當火花可用於區分大小寫或不敏感(默認)模式下,三角洲湖case-preserving但不敏感當存儲模式。拚花是大小寫敏感的,當存儲和返回列信息。為了避免潛在的錯誤,數據損壞或損失的問題(我們親自經曆過在磚),我們決定把這一限製。

為了說明這一點,看看下麵的代碼會發生什麼當試圖添加一些新計算列一套三角洲湖表,還沒有接受它們。

#生成DataFrame貸款,我們會添加到我們的三角洲湖表< / span >貸款= sql (< / span >”“”< / span >選擇addr_state,演員(蘭德(10)*算作bigint)計數,< / span >鑄造(蘭德(10)* 10000 *算作雙)數量< / span >從loan_by_state_delta< / span >”“”< / span >)< / span >#顯示原始DataFrame的模式< / span >original_loans.printSchema ()”“”< / span >根< / span >|——addr_state:字符串(nullable = true)< / span >|——數:整數(nullable = true)< / span >”“”< / span >#顯示新DataFrame的模式< / span >loans.printSchema ()”“”< / span >根< / span >|——addr_state:字符串(nullable = true)< / span >|——數:整數(nullable = true)< / span >|——數量:雙(nullable = true) #新列< / span >”“”< / span >#嚐試添加新DataFrame現有表(新列)< / span >loans.write。< / span >格式< / span >(< / span >“δ”< / span >)\< / span >.mode (< / span >“添加”< / span >)\< / span >。save (DELTALAKE_PATH)”“”返回:< / span >< span風格= "顏色:紅色;" >< / span >模式不匹配時發現寫作三角洲表。< / span >要啟用模式遷移,請設置:< / span >”。選項(“mergeSchema”,“真正的”)\ '< / span >表模式:< / span >根< / span >——addr_state:字符串(nullable = true)< / span >——數:長(可空= true)< / span >數據模式:< / span >根< / span >——addr_state:字符串(nullable = true)< / span >——數:長(可空= true)< / span >——數量:雙(nullable = true)< / span >如果啟用了acl表,這些選項將被忽略。請使用ALTER TABLE命令改變模式。< / span >< / span >< / span >”“”< / span >

而不是自動添加新列,三角洲湖執行模式和停止寫的發生。幫助確定哪些列(s)導致不匹配,火花打印出這兩個堆棧跟蹤模式的比較。

模式是如何執行有用嗎?

因為它是這樣一個嚴格的檢查,執行模式是一個很好的工具使用幹淨的看門人,完全改變了數據集,準備生產或消費。通常執行表,直接飼料:

機器學習算法
BI儀表板
數據分析和可視化工具
任何生產係統要求高度結構化,強類型、語義模式

為了他們的數據準備最後的障礙,許多用戶使用一個簡單的“種”架構,逐步補充道結構表。為了了解更多,看看文章題為與三角洲湖Productionizing機器學習。

當然,執行模式可以使用在你的管道,但請注意,這有點令人沮喪的流寫入一個表失敗,因為你忘了你單個列添加到輸入數據,例如。

防止數據被稀釋

在這一點上,你可能會問自己,有什麼值得大驚小怪的?畢竟,有時一個意想不到的“模式不匹配”的錯誤可能會使您在您的工作流,特別是如果你新三角洲湖。為什麼不讓模式改變但是它需要這樣我可以寫DataFrame不管什麼?

正如老話所說,“一盎司的預防勝過一磅的治療。”At some point, if you don't enforce your schema, issues with data type compatibility will rear their ugly heads - seemingly homogenous sources of raw data can contain edge cases, corrupted columns, misformed mappings, or other scary things that go bump in the night. A much better approach is to stop these enemies at the gates - using schema enforcement - and deal with them in the daylight rather than later on, when they'll be lurking in the shadowy recesses of your production code.

模式的實施提供了內心的寧靜,你的表的模式不會改變,除非你使肯定的選擇改變它。它可以防止數據“稀釋”,可以發生在新列如此頻繁的附加,以前富有,簡明表失去意義和實用性由於海量數據。通過鼓勵你故意,設定高標準,並期望高質量、執行模式是做它是為了做什麼——讓你誠實的,和你的桌子幹淨。

在進一步審查,如果你真的決定做了想添加新列,這是一個很簡單的,一線解決,下麵討論。解決方案模式演化!

模式演化是什麼?

模式演化是一個功能,允許用戶輕鬆地更改一個表的當前模式以適應隨時間變化的數據。執行時最常見的,它是使用一個附加或覆蓋操作,自動調整模式包括一個或更多的新列。

模式演化是如何工作的呢?

跟進從上一節的例子中,開發人員可以很容易地使用模式演化來添加新列,以前拒絕了由於模式不匹配。模式演化是通過添加激活.option (“mergeSchema”,“真正的”)到你的.write或.writeStream火花命令。

#添加mergeSchema選項< / span >loans.write。< / span >格式< / span >(< / span >“δ”< / span >)\< / span >.option (< / span >“mergeSchema”< / span >,< / span >“真正的”< / span >)\< / span >.mode (< / span >“添加”< / span >)\< / span >。save (DELTALAKE_SILVER_PATH)

要查看情節,執行以下SQL語句的火花。

#< / span >創建< / span >一個陰謀< / span >與< / span >的< / span >新< / span >列< / span >來< / span >確認寫成功< / span >%< / span >sql< / span >選擇< / span >addr_state,< / span >總和< / span >(“金額”)< / span >作為< / span >量< / span >從< / span >loan_by_state_delta< / span >集團< / span >通過< / span >addr_state< / span >訂單< / span >通過< / span >總和< / span >(“金額”)< / span >DESC< / span >限製< / span >10< / span >