從PyCharm配置磚(火花)的上下文

[kmartin62]

你好。我試圖連接到磚從我的IDE (PyCharm),然後運行三角洲表查詢。然而,集群我試圖訪問給我許可。在這種情況下,我會去我的集群,運行的電池給我許可,然後回到我PyCharm所以我可以查詢的表。我想問的問題是,有一些方法可以直接從PyCharm這種配置嗎?這是我使用的代碼給許可

如果StorageAccountName不是沒有StorageAccountAccessKey並不是沒有:打印(“配置火花上下文…”)spark_context._jsc.hadoopConfiguration ()。集(f“fs.azure.account.key。.blob.core.windows.net {StorageAccountName}”, StorageAccountAccessKey)

我用這種方法,而不是直接引發配置,因為我StorageAccountAccessKey存儲在key-vault和集群可能從各種存儲帳戶信息這意味著我有各種各樣的訪問鍵,等等。

[Hubert_Dudek1]

你使用databricks-connect嗎?

[kmartin62]

因為一些不好的原因,我不能使用databricks-connect。我得到java模塊。基本沒有“打開java。nio”不願透露姓名的模塊錯誤,我不能解決它和我知道它是什麼。現在,我使用python-sql-connector (https://docs.www.eheci.com/dev-tools/python-sql-connector.html)

[Hubert_Dudek1 · Accepted solution]

“我試圖連接到磚從我的IDE (PyCharm),然後運行三角洲表查詢。”

如果你要後您的代碼部署到磚唯一的解決方案,我看到是使用databricks-connect或就在雲開發環境和工作(拉請求生產和使用回購)。

如果您的代碼不會被部署到磚和您想要查詢的表從別的地方可以使用JDBC / ODBC連接器。如果你想讓集群和不同的管理員操作您可以安裝databricks-cli和擴展它在您的代碼類似下麵的例子:

從databricks_cli。sdk進口ApiClient

從databricks_cli。sdk進口服務

主機= " your_host "

令牌= " your_token "

客戶= ApiClient(主機=主機,令牌=令牌)

工作區= service.WorkspaceService(客戶端)

[kmartin62]

所以你建議databricks-connect同去,我明白了。你有什麼好主意什麼可能導致錯誤的解釋在我之前的評論,我怎麼能修複它嗎?