什麼是查詢聯合?

這個詞查詢聯合會描述一組特性,這些特性使用戶和係統能夠對多個孤立的數據源運行查詢,而不需要將所有數據遷移到統一的係統。

在lakehouse中查詢聯邦適合在哪裏?

湖屋強調集中存儲數據,以減少數據冗餘和隔離,但許多公司在生產中有大量的數據係統。您可能希望在連接的係統中查詢數據,原因有很多:

  • 特別報告。

  • 概念驗證工作。

  • 開發新的ETL管道或報告。

  • 支持增量遷移期間的工作負載。

您可能選擇不將某些數據集遷移或吸收到Databricks,但仍然需要為一些用戶提供對孤立用例的訪問權。

什麼是Databricks SQL查詢聯合?

預覽

這個特性是實驗並且不支持Unity Catalog。實驗特性是按原樣提供的,Databricks不通過客戶技術支持渠道提供支持。

Databricks SQL允許您配置隻讀連接到流行的數據庫解決方案,所有無服務器和pro SQL倉庫都包含驅動程序。

連接配置的詳細信息請參見以下內容。

什麼是Databricks上的查詢聯合?

Apache Spark一直支持以各種格式、從各種係統和數據源連接數據。Databricks構建在這些開源連接上,並在Databricks運行時中綁定其他庫,以便與許多庫集成外部數據源

連接到許多數據庫都使用Apache SparkJDBC連接器。您可以指定許多選項來調優這些連接的並行性,並可以根據需要將查詢下推到源係統。

在Databricks Runtime 11.3及以上版本中,秘密除了Python、R和Scala之外,還支持SQL,允許使用編配字符串配置用戶範圍的憑據。

Databricks是否允許來自其他係統的聯邦查詢?