如何使用從獨立的火花Jar從Intellij Idea圖書館安裝在磚DBR的?

[匿名]

你好,

我嚐試沒有成功使用的幾個庫安裝使用磚9.1集群(不是默認provived DBR)從一個獨立的火花來自Intellij Idea的應用程序運行。

例如,對於連接到紅移它隻能使用嵌入式Postgre司機。

如果我試著用紅移的司機和Sap Hana司機沒有成功。

圖書館已經安裝為jar的磚集群

• Sap Hana ngdbc_2_10_15.jar
• redshift_jdbc42_1_2_16_1027 - 330 d8.jar

當我試著在調試模式下運行或從Intellij Idea得到ClassnotFound正常模式。

異常的線程“主要”. lang。ClassNotFoundException: com.sap.db.jdbc.Driver

SAP在POM司機存在。XML的依賴性,試圖將它添加到Intellij依賴性。

<依賴>

< groupId > com.sap.cloud.db.jdbc < / groupId >

< artifactId > ngdbc < / artifactId >

<版本> 2.10.15 > < /版本

<類型> jar < /類型>

< / >的依賴

磚連接JARS宣布Intellij依賴正確:基本火花命令運行從Intellij獨立應用程序集群。

技術環境:

• DBR 9.1 LTS(包括Apache火花3.1.2,Scala 2.12)
• Intellij Idea 2021.2.2(從Windows 10)
• AWS紅移司機或Sap Hana司機

謝謝你四個支持,

[Kaniz]

你好@vanausloos!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[匿名]

親愛的Kaniz,

請提供一個答案嗎?很緊急,我們需要更好的maintability重寫磚筆記本作為獨立的應用程序。

感謝您的反饋。

[匿名 · Accepted solution]

除了之前的消息,我現在能正常運行工作使用紅移司機從磚工作:把紅移庫和JAR的工作,它的工作原理。

但是,不是很方便調試。

當我試圖運行應用程序從遠程數據磚Intellij集群問題:異常的線程“主要”. lang。ClassNotFoundException:無法加載一個亞馬遜紅移JDBC驅動程序;參見README說明下載和配置亞馬遜官方的驅動程序。

嚐試:

• 將驅動程序JAR添加到磚連接JAR的路徑:沒有成功
• 使用sc.addJars:不成功
• 使用sc.addJars dbfs道路的司機:沒有成功

有辦法在調試模式下運行Scala應用在集群磚嗎?

謝謝你！

[Kaniz]

嗨@Xavier VAN AUSLOOS,這可能幫助-//www.eheci.com/blog/2016/10/18/7-tips-to-debug-apache-spark-code-faster-with-databricks.html