配置數據磚ODBC、JDBC驅動程序
本文描述了如何配置磚ODBC、JDBC驅動程序的連接您的工具或客戶磚。為工具或客戶特定的連接說明,請參閱磚的集成。
需求
在你開始之前,你需要確保你有適當的權限來連接數據磚,準備您的憑據和檢索連接細節。
身份驗證需求
磚ODBC、JDBC驅動程序支持身份驗證通過使用個人訪問令牌或你的磚的用戶名和密碼。
說明如何生成一個令牌,請參閱生成一個個人訪問令牌。
用戶名和密碼身份驗證是可能的前提單點登錄是禁用的。
ODBC驅動程序
本節介紹的步驟配置ODBC驅動程序連接到磚。
ODBC驅動程序下載
審查的許可協議磚ODBC驅動程序在安裝軟件之前。
一些工具和客戶要求您安裝磚磚ODBC驅動程序建立連接,而其他嵌入司機,不需要單獨安裝。例如,使用場景桌麵,需要安裝的ODBC驅動程序,而最近的權力BI桌麵版本包括司機預裝和不采取行動是必要的。
去磚ODBC驅動程序適用於您的操作係統下載頁麵下載驅動程序。
下載相應的驅動程序的安裝程序之後你的平台,使用以下指令安裝和配置司機:Beplay体育安卓版本
安裝和配置Windows ODBC驅動程序
在Windows中,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN配置,使用WindowsODBC數據源管理員。
下載最新的驅動程序版本的Windows,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。
雙擊dowloaded
msi
文件安裝驅動程序。安裝目錄是C: \程序文件\辛巴火花ODBC司機
。從開始菜單搜索ODBC數據源啟動ODBC數據源管理員。
導航到司機選項卡來驗證安裝驅動程序(辛巴火花ODBC驅動程序)。
去用戶DSN或係統DSN選項卡並單擊添加按鈕。
選擇辛巴火花ODBC驅動程序從列表中已安裝的驅動程序。
選擇一個數據源名稱並設置強製性的ODBC配置和連接參數。另請參閱ODBC驅動程序功能驅動程序配置。
點擊好吧創建DSN。
安裝和配置macOS的ODBC驅動程序
在macOS,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN macOS,使用ODBC管理器。
安裝的ODBC管理器通過使用自製程序,或ODBC管理器下載然後雙擊下載的
dmg
文件來安裝它。下載最新的驅動程序為macOS版本,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。
雙擊dowloaded
dmg
文件安裝驅動程序。安裝目錄是/圖書館/辛巴/火花
。啟動ODBC管理器。
導航到司機選項卡來驗證安裝驅動程序(辛巴火花ODBC驅動程序)。
去用戶DSN或係統DSN選項卡並單擊添加按鈕。
選擇辛巴火花ODBC驅動程序從列表中已安裝的驅動程序。
點擊添加。
選擇一個數據源名稱和創建鍵值對設置強製性的ODBC配置和連接參數。另請參閱ODBC驅動程序功能驅動程序配置。
點擊好吧創建DSN。
安裝和配置Linux的ODBC驅動程序
在Linux中,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN在Linux上,可以使用unixODBC驅動程序管理器。
安裝unixODBC。
下載最新的驅動程序版本的Linux,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。
安裝的ODBC驅動程序。
RPM包:
sudo百勝——nogpgcheck localinstall simbaspark_ <版本> . rpm
DEB包:
sudo dpkg - simbaspark_ <版本>。deb
安裝目錄是
/ opt /辛巴/火花
。定位
odbc.ini
驅動程序配置文件對應係統數據來源
:odbcinst - j
在文本編輯器中打開
odbc.ini
配置文件。創建一個
(ODBC數據來源)
部分:(ODBC數據源)磚=磚ODBC連接器
創建另一個具有相同名稱的部分作為你的DSN並指定配置參數以鍵-值對的形式。看到強製ODBC配置和連接參數有關如何設置配置參數的更多信息。另請參閱ODBC驅動程序功能驅動程序配置。
(磚)司機=< path-to-driver ><鍵>=<值>…
ODBC配置和連接參數
本節介紹了強製性的ODBC驅動程序的配置和連接參數。
配置 |
描述 |
---|---|
司機 |
驅動程序安裝路徑 |
主機 |
磚服務器主機名 |
港口 |
443年 |
HTTPPath |
磚計算資源的URL |
SSL |
1 |
ThriftTransport |
2 |
驗證參數
驗證通過使用個人訪問令牌,設置以下配置:
配置 |
描述 |
---|---|
AuthMech |
3 |
UID |
令牌 |
鬆材線蟲病 |
< personal-access-token > |
如果你想用你的磚憑證,然後UID和PWD設置為您的用戶名和密碼,分別。
定義在應用程序中使用的連接字符串,如下:
司機= < path-to-driver >;主機= <服務器主機>;港口= 443;HTTPPath = < http-path >; ThriftTransport = 2, SSL = 1; AuthMech = 3; UID =令牌;PWD = < personal-access-token >
設置主機和HTTPPath配置您檢索到的值檢索連接細節。
ODBC驅動程序功能
本節提供了可選的ODBC驅動程序配置。
在ODBC ANSI sql - 92查詢支持
ODBC驅動程序接受SQL查詢ANSI SQL - 92年方言和磚SQL方言翻譯的查詢。然而,如果您的應用程序生成磚SQL應用程序直接或使用任何non-ANSI SQL - 92標準SQL語法具體磚,磚建議您設置UseNativeQuery = 1
作為連接配置。設置,司機通過SQL查詢逐字磚。
提取ODBC的大型查詢結果
達到最佳性能時提取大型查詢結果,使用最新版本的ODBC驅動程序包括以下優化。
箭頭在ODBC序列化
ODBC驅動程序版本2.6.15以上中支持序列化格式,它使用一個優化的查詢結果Apache箭頭。
雲引進ODBC
上麵的ODBC驅動程序版本2.6.17和雲獲取支持,通過雲存儲功能,獲取查詢結果是建立在你的磚部署。使用雲獲取查詢結果中提取使用此功能,使用磚運行時的8.3或以上。
查詢結果上傳到內部DBFS存儲位置20 MB的Arrow-serialized文件。當司機發送獲取請求查詢完成後,磚生成並返回presigned url上傳的文件。然後ODBC驅動程序使用的url下載直接從DBFS結果。
雲拿隻用於查詢結果大於1 MB。直接從磚較小的檢索結果。
磚自動垃圾收集積累的文件,標記為刪除後24小時。這些標記文件完全是額外的24小時後刪除。
雲獲取隻是用於E2工作區。同時,相應的Amazon S3 bucket不能啟用了版本控製。如果你啟用了版本控製,你仍然可以使雲獲取遵循指令高級配置。
了解更多關於雲計算獲取架構,明白了我們如何實現高帶寬連接用BI工具嗎。
JDBC驅動程序
本節介紹的步驟配置JDBC驅動程序連接到數據磚。
安裝磚JDBC驅動程序的Java項目
磚JDBC驅動程序是可用的Maven中央存儲庫。包括磚JDBC驅動程序在您的Java項目中,添加以下進入應用程序的pom.xml
文件,如下所示。
請注意
以下版本
值是可能發生變化。可用版本可供選擇,請參閱Maven中央存儲庫。
<依賴>< groupId >com.databricks<ʇgroupId >< artifactId >databricks-jdbc< / artifactId ><版本>2.6.25-1> < /版本< / >的依賴
下載數據磚JDBC驅動程序
去磚JDBC驅動程序下載頁麵下載驅動程序。
司機是打包為一個JAR,它不需要安裝,可以添加到Java類路徑中。
自JDBC 2.6.25司機的名字是DatabricksJDBC42.jar
,而遺留的司機的名字SparkJDBC42.jar
。下載驅動程序之後,使用以下指令配置司機:
建築磚的連接URL驅動程序
連接使用一個個人訪問令牌,第一個得到服務器主機名和Http路徑從檢索連接細節。
JDBC連接URL一般形式如下:
jdbc:磚:/ / <服務器主機名>:443;HttpPath = < Http路徑>[;財產=價值[;財產=價值]]
地點:
jdbc:磚:/ /(需要)被稱為subprotocol是恒定的。
服務器主機名(必需)是連接到服務器的地址。
Http路徑(需要)是磚計算資源的URL。
財產(可選的)是一個或多個連接屬性。看到JDBC驅動程序功能為更多的細節。
你應該避免通過JDBC URL設置憑證。相反,建議設置憑證的方式是通過通過屬性參數DriverManager
:
使用個人訪問令牌驗證,設置以下屬性集合:
字符串url = " jdbc:磚:/ / <服務器主機名>:443;HttpPath = < Http路徑>”;新java.util.Properties性質p = ();p。put (" PWD ", " < personal-access-token > ");DriverManager。getConnection (url, p);
地點:
鬆材線蟲病個人獲得的訪問令牌,你在嗎身份驗證需求。
建築遺產的連接URL火花司機
連接到磚使用火花的JDBC驅動程序,您需要建立一個連接URL,一般具有以下形式:
jdbc:火花:/ / <服務器主機名>:443;HttpPath = < Http路徑>;運輸方式= Http; SSL = 1(;財產=價值[;財產=價值]]
地點:
jdbc:火花:/ /(需要)被稱為subprotocol是恒定的。
服務器主機名(必需)是連接到服務器的地址。
Http路徑(需要)是磚計算資源的URL。
財產(可選的)是一個或多個連接屬性。看到JDBC驅動程序功能為更多的細節。
司機也需要設置運輸方式和SSL屬性。磚推薦這些屬性的值http
分別和1。
使用個人訪問令牌驗證,設置以下屬性集合:
字符串url = " jdbc:火花:/ / <服務器主機名>;HttpPath = < Http路徑>;運輸方式= Http; SSL = 1”;新java.util.Properties性質p = ();p。put (" PWD ", " < personal-access-token > ");DriverManager。getConnection (url, p);
地點:
鬆材線蟲病個人獲得的訪問令牌,你在嗎身份驗證需求。
JDBC驅動程序功能
本節提供了可選的JDBC驅動程序的配置。同樣的功能適用於兩個磚和遺留的火花的司機。
ANSI sql - 92在JDBC查詢支持
遺留火花JDBC驅動程序接受ANSI SQL - 92方言的SQL查詢和查詢轉換成磚的SQL方言之前將它們發送到服務器。然而,如果您的應用程序生成磚SQL應用程序直接或使用任何non-ANSI SQL - 92標準SQL語法具體磚,磚建議您設置UseNativeQuery = 1
作為連接配置。設置,司機通過SQL查詢逐字磚。
提取大在JDBC查詢結果
達到最佳性能時提取大型查詢結果,使用JDBC驅動程序的最新版本,它包含了以下優化。
在JDBC箭頭序列化
JDBC驅動程序版本2.6.16以上時支持序列化格式,它使用一個優化的查詢結果Apache箭頭。
雲引進JDBC
JDBC驅動程序版本2.6.19以上支持雲獲取能力,獲取查詢結果通過雲存儲中設置你的磚部署。使用雲獲取查詢結果中提取,使用磚運行時的8.3或以上。
查詢結果上傳到內部DBFS存儲位置20 MB的Arrow-serialized文件。當司機發送獲取請求查詢完成後,磚生成並返回presigned url上傳的文件。JDBC驅動程序然後使用url下載直接從DBFS結果。
雲拿隻用於查詢結果大於1 MB。直接從磚較小的檢索結果。
磚自動垃圾收集積累的文件標記為刪除後24小時。這些標記文件完全是額外的24小時後刪除。
雲獲取隻是E2工作區中可用。同時,相應的Amazon S3 bucket不能啟用了版本控製。如果你啟用了版本控製,你仍然可以使雲獲取遵循指令高級配置。
了解更多關於雲計算獲取架構,明白了我們如何實現高帶寬連接用BI工具嗎。
高級配置
(如果已啟用S3 bucket版本控製在你的DBFS根垃圾收集舊版本的,然後磚不能上傳查詢結果。磚因此自動禁用雲獲取版本桶拯救你於過度的存儲成本。你仍然可以手動啟用雲取回,但我們建議設置一個S3生命周期策略首先清洗舊版本上傳查詢結果:
生命周期政策對於雲獲取使用指令集設置一個生命周期策略。
從雲中獲取覆蓋使用指令集設置雲獲取覆蓋。
設置一個雲獲取生命周期政策
設置一個生命周期策略:
在AWS控製台,去S3服務。
點擊S3 bucket使用為您的工作空間的根存儲。
打開管理選項卡並選擇創建生命周期規則。
選擇的任何名稱生命周期規則名稱。
保持空前綴字段。
下生命周期規則的行為選擇永久刪除對象的非流動的版本。
設置一個值下天後對象成為非流動。我們建議使用價值1。
點擊創建規則。
一旦你設定一個生命周期的政策可以使雲獲取通過設置一個覆蓋。
設置雲獲取覆蓋
上啟用雲獲取集群
去高級選項的集群。看到從集群獲得連接細節。
點擊火花。
添加這個配置:
spark.databricks.cloudfetch.override。使真正的