什麼是查詢聯合?
這個詞查詢聯合會描述一組特性,這些特性使用戶和係統能夠對多個孤立的數據源運行查詢,而不需要將所有數據遷移到統一的係統。
在lakehouse中查詢聯邦適合在哪裏?
湖屋強調集中存儲數據,以減少數據冗餘和隔離,但許多公司在生產中有大量的數據係統。您可能希望在連接的係統中查詢數據,原因有很多:
特別報告。
概念驗證工作。
開發新的ETL管道或報告。
支持增量遷移期間的工作負載。
您可能選擇不將某些數據集遷移或吸收到Databricks,但仍然需要為一些用戶提供對孤立用例的訪問權。
什麼是Databricks SQL查詢聯合?
預覽
這個特性是實驗並且不支持Unity Catalog。實驗特性是按原樣提供的,Databricks不通過客戶技術支持渠道提供支持。
Databricks SQL允許您配置隻讀連接到流行的數據庫解決方案,所有無服務器和pro SQL倉庫都包含驅動程序。
連接配置的詳細信息請參見以下內容。
什麼是Databricks上的查詢聯合?
Apache Spark一直支持以各種格式、從各種係統和數據源連接數據。Databricks構建在這些開源連接上,並在Databricks運行時中綁定其他庫,以便與許多庫集成外部數據源.
連接到許多數據庫都使用Apache SparkJDBC連接器。您可以指定許多選項來調優這些連接的並行性,並可以根據需要將查詢下推到源係統。
在Databricks Runtime 11.3及以上版本中,秘密除了Python、R和Scala之外,還支持SQL,允許使用編配字符串配置用戶範圍的憑據。
Databricks是否允許來自其他係統的聯邦查詢?
磚提供JDBC和ODBC驅動程序與許多BI工具兼容。
Delta Sharing提供了一種開源協議,用於與眾多連接用戶共享Delta Lake表支持客戶.
Delta Lake是一個完全開源的存儲協議集成.
Databricks已經和一些BI和可視化工具支持在湖屋中查詢數據。