配置數據磚ODBC、JDBC驅動程序
本文描述了如何配置磚ODBC、JDBC驅動程序的連接您的工具或客戶磚。為工具或客戶特定的連接說明,請參閱磚的集成。
需求
在你開始之前,你需要確保你有適當的權限來連接數據磚,準備您的憑據和檢索連接細節。
ODBC驅動程序
本節介紹的步驟配置ODBC驅動程序連接到磚。
ODBC驅動程序下載
審查的許可協議磚ODBC驅動程序在安裝軟件之前。
一些工具和客戶要求您安裝磚磚ODBC驅動程序建立連接,而其他嵌入司機,不需要單獨安裝。例如,使用場景桌麵,需要安裝的ODBC驅動程序,而最近的權力BI桌麵版本包括司機預裝和不采取行動是必要的。
去磚ODBC驅動程序適用於您的操作係統下載頁麵下載驅動程序。
下載相應的驅動程序的安裝程序之後你的平台,使用以下指令安裝和配置司機:Beplay体育安卓版本
安裝和配置Windows ODBC驅動程序
在Windows中,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN配置,使用WindowsODBC數據源管理員。
下載最新的驅動程序版本的Windows,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。
雙擊dowloaded
msi
文件安裝驅動程序。安裝目錄是C: \程序文件\辛巴火花ODBC司機
。從開始菜單搜索ODBC數據源啟動ODBC數據源管理員。
導航到司機選項卡來驗證安裝驅動程序(辛巴火花ODBC驅動程序)。
去用戶DSN或係統DSN選項卡並單擊添加按鈕。
選擇辛巴火花ODBC驅動程序從列表中已安裝的驅動程序。
選擇一個數據源名稱並設置強製性的ODBC配置和連接參數。另請參閱ODBC驅動程序功能驅動程序配置。
點擊好吧創建DSN。
安裝和配置macOS的ODBC驅動程序
在macOS,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN macOS,使用ODBC管理器。
安裝的ODBC管理器通過使用自製程序,或ODBC管理器下載然後雙擊下載的
dmg
文件來安裝它。下載最新的驅動程序為macOS版本,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。
雙擊dowloaded
dmg
文件安裝驅動程序。安裝目錄是/圖書館/辛巴/火花
。啟動ODBC管理器。
導航到司機選項卡來驗證安裝驅動程序(辛巴火花ODBC驅動程序)。
去用戶DSN或係統DSN選項卡並單擊添加按鈕。
選擇辛巴火花ODBC驅動程序從列表中已安裝的驅動程序。
點擊添加。
選擇一個數據源名稱和創建鍵值對設置強製性的ODBC配置和連接參數。另請參閱ODBC驅動程序功能驅動程序配置。
點擊好吧創建DSN。
安裝和配置Linux的ODBC驅動程序
在Linux中,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN在Linux上,可以使用unixODBC驅動程序管理器。
安裝unixODBC。
下載最新的驅動程序版本的Linux,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。
安裝的ODBC驅動程序。
RPM包:
sudo百勝——nogpgcheck localinstall simbaspark_ <版本> . rpm
DEB包:
sudo dpkg - simbaspark_ <版本>。deb
安裝目錄是
/ opt /辛巴/火花
。定位
odbc.ini
驅動程序配置文件對應係統數據來源
:odbcinst - j
在文本編輯器中打開
odbc.ini
配置文件。創建一個
(ODBC數據來源)
部分:(ODBC數據源)磚=磚ODBC連接器
創建另一個具有相同名稱的部分作為你的DSN並指定配置參數以鍵-值對的形式。看到強製ODBC配置和連接參數有關如何設置配置參數的更多信息。另請參閱ODBC驅動程序功能驅動程序配置。
(磚)司機=< path-to-driver ><鍵>=<值>…
ODBC配置和連接參數
本節介紹了強製性的ODBC驅動程序的配置和連接參數。
配置 |
描述 |
---|---|
司機 |
驅動程序安裝路徑 |
主機 |
磚服務器主機名 |
港口 |
443年 |
HTTPPath |
磚計算資源的URL |
SSL |
1 |
ThriftTransport |
2 |
驗證參數
驗證通過使用個人訪問令牌,設置以下配置:
配置 |
描述 |
---|---|
AuthMech |
3 |
UID |
令牌 |
鬆材線蟲病 |
磚的個人工作區用戶訪問令牌 |
如果你想用你的磚憑證,然後UID和PWD設置為您的用戶名和密碼,分別。
定義在應用程序中使用的連接字符串,如下:
司機= < path-to-driver >;主機= <服務器主機>;港口= 443;HTTPPath = < http-path >; ThriftTransport = 2, SSL = 1; AuthMech = 3; UID =令牌;PWD = < personal-access-token >
設置主機和HTTPPath配置您檢索到的值檢索連接細節。
ODBC驅動程序功能
本節提供了可選的ODBC驅動程序配置。
在ODBC ANSI sql - 92查詢支持
ODBC驅動程序接受SQL查詢ANSI SQL - 92年方言和磚SQL方言翻譯的查詢。然而,如果您的應用程序生成磚SQL應用程序直接或使用任何non-ANSI SQL - 92標準SQL語法具體磚,磚建議您設置UseNativeQuery = 1
作為連接配置。設置,司機通過SQL查詢逐字磚。
提取ODBC的大型查詢結果
達到最佳性能時提取大型查詢結果,使用最新版本的ODBC驅動程序包括以下優化。
箭頭在ODBC序列化
ODBC驅動程序版本2.6.15以上中支持序列化格式,它使用一個優化的查詢結果Apache箭頭。
雲引進ODBC
上麵的ODBC驅動程序版本2.6.17和雲獲取支持,通過雲存儲功能,獲取查詢結果是建立在你的磚部署。使用雲獲取查詢結果中提取使用此功能,使用磚運行時的8.3或以上。
查詢結果上傳到內部DBFS存儲位置20 MB的Arrow-serialized文件。當司機發送獲取請求查詢完成後,磚生成並返回presigned url上傳的文件。然後ODBC驅動程序使用的url下載直接從DBFS結果。
雲拿隻用於查詢結果大於1 MB。直接從磚較小的檢索結果。
磚自動垃圾收集積累的文件,標記為刪除後24小時。這些標記文件完全是額外的24小時後刪除。
雲獲取隻是用於E2工作區。同時,相應的Amazon S3 bucket不能啟用了版本控製。如果你啟用了版本控製,你仍然可以使雲獲取遵循指令高級配置。
了解更多關於雲計算獲取架構,明白了我們如何實現高帶寬連接用BI工具嗎。
JDBC驅動程序
本節介紹的步驟配置JDBC驅動程序連接到數據磚。
安裝磚JDBC驅動程序的Java項目
磚JDBC驅動程序是可用的Maven中央存儲庫。包括磚JDBC驅動程序在您的Java項目中,添加以下進入應用程序的pom.xml
文件,如下所示。
請注意
以下版本
值是可能發生變化。可用版本可供選擇,請參閱Maven中央存儲庫。
<依賴>< groupId >com.databricks<ʇgroupId >< artifactId >databricks-jdbc< / artifactId ><版本>2.6.25-1> < /版本< / >的依賴
下載數據磚JDBC驅動程序
去磚JDBC驅動程序下載頁麵下載驅動程序。
司機是打包為一個JAR,它不需要安裝,可以添加到Java類路徑中。
自JDBC 2.6.25司機的名字是DatabricksJDBC42.jar
,而遺留的司機的名字SparkJDBC42.jar
。下載驅動程序之後,使用以下指令配置司機:
建築磚的連接URL驅動程序
連接使用一個個人訪問令牌,第一個得到服務器主機名和Http路徑從檢索連接細節。
JDBC連接URL一般形式如下:
jdbc:磚:/ / <服務器主機名>:443;HttpPath = < Http路徑>[;財產=價值[;財產=價值]]
地點:
jdbc:磚:/ /(需要)被稱為subprotocol是恒定的。
服務器主機名(必需)是連接到服務器的地址。
Http路徑(需要)是磚計算資源的URL。
財產(可選的)是一個或多個連接屬性。看到JDBC驅動程序功能為更多的細節。
你應該避免通過JDBC URL設置憑證。相反,建議設置憑證的方式是通過通過屬性參數DriverManager
:
使用個人訪問令牌驗證,設置以下屬性集合:
字符串url = " jdbc:磚:/ / <服務器主機名>:443;HttpPath = < Http路徑>”;新java.util.Properties性質p = ();p。put (" PWD ", " < personal-access-token > ");DriverManager。getConnection (url, p);
地點:
鬆材線蟲病個人獲得的訪問令牌,你在嗎身份驗證需求。
建築遺產的連接URL火花司機
連接到磚使用火花的JDBC驅動程序,您需要建立一個連接URL,一般具有以下形式:
jdbc:火花:/ / <服務器主機名>:443;HttpPath = < Http路徑>;運輸方式= Http; SSL = 1(;財產=價值[;財產=價值]]
地點:
jdbc:火花:/ /(需要)被稱為subprotocol是恒定的。
服務器主機名(必需)是連接到服務器的地址。
Http路徑(需要)是磚計算資源的URL。
財產(可選的)是一個或多個連接屬性。看到JDBC驅動程序功能為更多的細節。
司機也需要設置運輸方式和SSL屬性。磚推薦這些屬性的值http
分別和1。
使用個人訪問令牌驗證,設置以下屬性集合:
字符串url = " jdbc:火花:/ / <服務器主機名>;HttpPath = < Http路徑>;運輸方式= Http; SSL = 1”;新java.util.Properties性質p = ();p。put (" PWD ", " < personal-access-token > ");DriverManager。getConnection (url, p);
地點:
鬆材線蟲病個人獲得的訪問令牌,你在嗎身份驗證需求。
JDBC驅動程序功能
本節提供了可選的JDBC驅動程序的配置。同樣的功能適用於兩個磚和遺留的火花的司機。
ANSI sql - 92在JDBC查詢支持
遺留火花JDBC驅動程序接受ANSI SQL - 92方言的SQL查詢和查詢轉換成磚的SQL方言之前將它們發送到服務器。然而,如果您的應用程序生成磚SQL應用程序直接或使用任何non-ANSI SQL - 92標準SQL語法具體磚,磚建議您設置UseNativeQuery = 1
作為連接配置。設置,司機通過SQL查詢逐字磚。
提取大在JDBC查詢結果
達到最佳性能時提取大型查詢結果,使用JDBC驅動程序的最新版本,它包含了以下優化。
在JDBC箭頭序列化
JDBC驅動程序版本2.6.16以上時支持序列化格式,它使用一個優化的查詢結果Apache箭頭。
雲引進JDBC
JDBC驅動程序版本2.6.19以上支持雲獲取能力,獲取查詢結果通過雲存儲中設置你的磚部署。使用雲獲取查詢結果中提取,使用磚運行時的8.3或以上。
查詢結果上傳到內部DBFS存儲位置20 MB的Arrow-serialized文件。當司機發送獲取請求查詢完成後,磚生成並返回presigned url上傳的文件。JDBC驅動程序然後使用url下載直接從DBFS結果。
雲拿隻用於查詢結果大於1 MB。直接從磚較小的檢索結果。
磚自動垃圾收集積累的文件標記為刪除後24小時。這些標記文件完全是額外的24小時後刪除。
雲獲取隻是E2工作區中可用。同時,相應的Amazon S3 bucket不能啟用了版本控製。如果你啟用了版本控製,你仍然可以使雲獲取遵循指令高級配置。
了解更多關於雲計算獲取架構,明白了我們如何實現高帶寬連接用BI工具嗎。
高級配置
(如果已啟用S3 bucket版本控製在你的DBFS根垃圾收集舊版本的,然後磚不能上傳查詢結果。磚因此自動禁用雲獲取版本桶拯救你於過度的存儲成本。你仍然可以手動啟用雲取回,但我們建議設置一個S3生命周期策略首先清洗舊版本上傳查詢結果:
生命周期政策對於雲獲取使用指令集設置一個生命周期策略。
從雲中獲取覆蓋使用指令集設置雲獲取覆蓋。
設置一個雲獲取生命周期政策
設置一個生命周期策略:
在AWS控製台,去S3服務。
點擊S3 bucket使用為您的工作空間的根存儲。
打開管理選項卡並選擇創建生命周期規則。
選擇的任何名稱生命周期規則名稱。
保持空前綴字段。
下生命周期規則的行為選擇永久刪除對象的非流動的版本。
設置一個值下天後對象成為非流動。我們建議使用價值1。
點擊創建規則。
一旦你設定一個生命周期的政策可以使雲獲取通過設置一個覆蓋。
設置雲獲取覆蓋
上啟用雲獲取集群
去高級選項的集群。看到從集群獲得連接細節。
點擊火花。
添加這個配置:
spark.databricks.cloudfetch.override。使真正的