宣布支持穀歌BigQuery磚7.1運行時

在磚,我們正在建立一個統一的平台數據和人工智能。Beplay体育安卓版本數據在企業生活在很多地方和磚擅長統一數據可以駐留的地方。今天,我們很高興宣布支持讀寫數據在穀歌BigQuery磚7.1運行時。

BigQuery概論

在Google自己的話說,“BigQuery serverless,高度可伸縮的和具有成本效益的數據倉庫設計的業務敏捷性。“BigQuery是一個受歡迎的選擇分析數據存儲在穀歌的雲平台。Beplay体育安卓版本在後台,BigQuery數據倉庫是一個柱狀的分離計算和存儲。它還支持ANSI: 2011 SQL,這使得它大數據分析的一個有用的選擇。

增強對磚用戶

火花數據源包含在磚運行時的7.1是穀歌的開源的叉子spark-bigquery-connector這使得它容易處理BigQuery磚:

• 減少了數據傳輸和更快的查詢:磚自動按下特定的查詢謂詞,如過濾嵌套列上BigQuery能夠加快查詢處理,減少數據傳輸。這些優化自動應用到你的查詢。
• 直接查詢:轉換和過濾數據駐留在BigQuery表使用現有火花api可以首先意味著傳輸大量數據從BigQuery磚。減少數據傳輸成本,我們增加了能力首先運行一個SQL查詢隻BigQuery與查詢()API和轉移產生的數據集。

例子

下麵的例子展示很容易BigQuery用戶開始使用磚。

BigQuery SQL查詢的結果解讀DataFrame

瓦爾表=“bigquery-public-data.samples.shakespeare”val tempLocation=“databricks_testing”//閱讀整個表成一個DataFrameval df1=spark.read.format (“bigquery”) .option(“表”,表).load ()//讀了結果的一個BigQuerySQL查詢成一個DataFrameval df2=spark.read.format (“bigquery”)tempLocation .option (“materializationDataset”).option(“查詢”、“SELECT count(1)從${表}”).load ()。收集()

寫一個DataFrame BigQuery表

df.write。格式(“bigquery”).mode (“添加”).option (“temporaryGcsBucket”tempLocation).option (“表”,“mycompany.employees”).save ()

用例

支持BigQuery將使新的用例,包括這些例子,我們的客戶已經建立:beplay体育app下载地址

• 先進的分析和機器學習數據存儲在穀歌雲:利用磚的力量的協作數據科學環境超負荷的生產力數據團隊。beplay娱乐ios您還可以規範毫升生命周期從實驗到生產和使ML和人工智能在穀歌雲數據。
• 多重雲數據集成:如果您的數據駐留在穀歌雲的一部分,您可以使用磚彙集數據豎井和打開你的數據的全部價值。

看到文檔詳細信息如何開始。