磚SQL強調從數據& AI峰會
2022年7月20日 在Beplay体育安卓版本平台的博客
數據倉庫不是跟上當今世界:其他語言SQL的爆炸,非結構化數據,機器學習,物聯網和流分析客戶不得不采用的體係結構分為兩部分:數據倉庫為毫升BI和數據湖泊。雖然SQL是無處不在的,被成千上萬的專業人士,它從未被視為數據上的一等公民,湖,直到數據lakehouse的崛起。beplay体育app下载地址
客戶采beplay体育app下载地址用lakehouse架構,磚的SQL(DBSQL)提供了數據倉庫功能和一流的支持SQL磚Lakehouse平台Beplay体育安卓版本——彙集了最好的湖泊和數據倉庫的數據。全球範圍內的成千上萬的客戶beplay体育app下载地址已經采用DBSQL,在數據+人工智能峰會,我們宣布了一項創新數據轉換和攝取,連接,和經典的數據倉庫繼續重新定義分析lakehouse。讀了重點。
即時,serverless計算磚SQL
首先,我們宣布的可用性serverless計算對於磚SQL (DBSQL)在AWS公共預覽!現在你可以使每一個分析師和分析工程師攝取,轉換和查詢最完整和最新鮮的數據,而不必擔心底層的基礎設施。
開源,節點。js, Python和CLI連接器磚SQL
許多客戶使beplay体育app下载地址用磚SQL應用程序由lakehouse構建定製的數據。所以我們宣布開源的完整陣容連接器去,node . js,Python,以及一個新的CLI,使它更簡單可供開發人員從任何應用程序連接到數據磚SQL。聯係我們在GitHub和磚社區任何反饋,讓我們知道的下一個構建!
Python udf
結合數據科學家和前所未有的數據分析師,Python udf提供Python的力量進入你喜歡的SQL環境!現在分析師可以利用python函數——從複雜的轉換邏輯機器學習模型,數據科學家已經開發並無縫地使用他們直接在磚SQL SQL語句。Python udf現在在私人預覽,請繼續關注更多的更新。
創建函數編輯(一個字符串)返回字符串語言PYTHON作為$ $進口json鍵=(“電子郵件”、“電話”)obj=json.loads (a)為k在obj:如果k在密鑰:obj [k]=“修訂”返回json.dumps (obj)$ $;
查詢聯合會
lakehouse是所有數據源。查詢聯盟允許分析師直接查詢lakehouse以外的存儲的數據而不需要首先提取和加載數據從源係統。當然,可以結合數據源PostgreSQL和三角洲透明地在相同的查詢。
創建外部表taxi_trips.taxi_transactions使用postgresql選項(數據表“taxi_trips”,主機的秘密(“postgresdb”、“主機”),港口的5432年”,數據庫的秘密(“postgresdb”、“數據庫”),用戶秘密(postgresdb”、“用戶名”),密碼保密(“postgresdb”,“密碼”));
物化視圖
物化視圖(MVs)加速用戶查詢和與高效,降低基礎設施成本增量計算。建立在之上三角洲生活表(DLT),否則MVs查詢延遲減少並不是預先計算慢查詢和常用的計算。
數據建模與約束
每個人最喜歡的數據倉庫約束來lakehouse !主鍵和外鍵約束為分析師提供了一個熟悉的工具包lakehouse高級數據建模。DBSQL & BI工具可以利用元數據來改善查詢計劃。
下一個步驟
加入的談話磚社區data-obsessed同行在哪裏聊天關於數據+人工智能峰會2022公告和更新,並參觀嗎https://dbricks.co/dbsql今天開始!
下麵是一個從數據+人工智能選擇相關的會議2022年峰會看點播:
- 第一天早上主題
- Lakehouse數據倉庫
- 磚的SQL引擎蓋下:有什麼新的現場演示
- 印度生物技術部和磚:分析Lakehouse工程
- 三角洲湖,你Lakehouse的基礎
- 統一目錄:旅程為你的數據統一治理和AI資產Lakehouse
- 伸縮與磚Serverless的工作負載
- 激進的速度Lakehouse:光子
了解更多
- 看數據+ AI峰會2022點播://www.eheci.com/dataaisummit/
- 宣布開源,節點。js、Python和CLI連接器磚SQL://www.eheci.com/blog/2022/06/29/connect-from-anywhere-to-databricks-sql.html
- Serverless聲明://www.eheci.com/blog/2021/08/30/announcing-databricks-serverless-sql.html