選的技術資產Apache火花的結構化流

通過朱爾斯Damji

2017年8月24日在工程的博客

分享這篇文章

老選集整理一批來自不同作者theme-bounded然後雜誌或期刊。更新的選集,然而,包括多個情態動詞expressions-digitized現在電子書或者一個博客。兩者都提供一個主題的博覽會。無論形式如何,它們提供單一來源的主要內容。

在本選集中,我們收集了一組視頻,技術博客,播客,和關注的文章Apache火花的結構化流。

磚首席技術專家馬泰Zaharia感謝社區的貢獻和宣布結構化流準備生產。

在不到10行代碼中,您可以從Apache卡夫卡,讀取流解析JSON負載數據到單獨的列,改變它,豐富它通過加入與靜態數據和寫出來一個表準備批量或特別查詢。Apache火花提交者和磚的工程師邁克爾Armbrust和如來佛Das討論,用具體的例子證明。

此外,他們解釋功能,允許基於事件時間的聚合,任意狀態操作,使用事件時間水印和自動狀態管理。

去年,磚的首席技術專家馬泰Zaharia共享他的願景的Apache火花流正:連續與結構化的流媒體應用程序是下一步,他寫道。

磚的工程師和Apache火花提交者馬泰Zaharia如來佛Das,邁克爾·時常要和雷諾鑫闡述流媒體應用程序很難寫,為什麼和如何結構化流媒體地址的所有潛在的複雜性。

磚的工程師如來佛Das,邁克爾Armbrust和泰森Condie展示如何做流媒體和實時數據ETL規模。

從磚工程師和Apache火花貢獻者Burak•,邁克爾•Armbrust如來佛Das,泰森Condie如何處理複雜的嵌套的數據格式和結構化流。

磚工程師和火花的貢獻者Kunal Khamar泰森Condie和邁克爾時常要展示如何輕鬆你可以從Apache卡夫卡使用結構化流api讀取流在Apache 2.2火花。

如何使用簡單的事件時間聚合和水印結構流api ?磚工程師和火花的提交者如來佛Das解釋了。

你如何確保結構化流媒體應用程序準備生產。產品經理比爾·錢伯斯和Apache火花提交者邁克爾Armbrust躺至關重要的步驟,使用簡單的api警報和監視流查詢狀態。

Apache火花貢獻者Burak•泰森Condie演示如何控製和使用簡單的api,如控製成本運行一次觸發2.2功能添加到結構化流火花。你得到所有的好處催化劑優化器incrementalizing你的工作量和成本節約沒有懶懶的集群周圍。

磚產品經理比爾錢伯斯和火花社區傳道者朱爾斯Damji演示如何使用結構流api進行定製和任意狀態處理

磚高級解決方案架構師蘇尼爾Sitaula將指導您完成一個端到端的集成Apache卡夫卡,消費信息,做簡單到複雜窗口ETL、並推動所需的輸出各種沉如記憶、控製台、文件、數據庫和卡夫卡本身。

磚的鉛結構化流和火花提交者邁克爾Armbrust說為什麼結構化流是最快的開源引擎相比其他流引擎。

磚的火花社區傳道者朱爾斯Damji輪廓步驟使用AWS運動結構化流在Apache 2.2火花磚3.0運行時。

在這個海灣地區Apache火花Meetup說話,Burak•,火花提交者和磚的軟件工程師,擴展了如何使用結構化流api來保持狀態聚合。

O ' reilly的首席數據科學家Ben Lorica坐下和邁克爾Armbrust談論生活和結構化流。

離子指針(信息世界的貢獻者)提倡DataFrames為什麼Apache在火花引發流2.0的最佳選擇,以及為什麼結構化流是有意義的。

Datanami坐在首席技術專家和磚馬泰Zaharia討論的所有方麵的聯合創始人結構化流在Apache火花

接下來是什麼?

您可能想要收藏這個頁麵,我們將更新與我們係列的第7部分結構化流。如果你想嚐試一些筆記本電腦的這些資產來探索引發2.2的結構化流特性磚3.0運行時你可以注冊一個免費試用。

免費試著磚

開始