取消
顯示的結果
而不是尋找
你的意思是:

統一目錄——火花。*函數拋出Py4JSecurityException - org.apache.spark.sql.internal.CatalogImpl.currentCatalog()類類org.apache.spark.sql.internal.CatalogImpl不是白名單

jakubk
新的貢獻者三世

我想遷移到統一目錄但我的一些數據攝入筆記本扔拋出securityexception /白名單錯誤為許多火花。功能

有一些配置設置我需要啟用白名單的火花。*方法/函數?

我知道它,因為我使用的共享訪問模式。我一直沒有隔離共享集群運行之前,當使用hive metastore與外部表

我使用外部管理表和使用火花。目錄,檢查是否存在一個表在我創建它。這與白名單沒有錯誤。我可以重構,檢查使用information_schema列我猜嗎?

但任何如何重構呢?

我有多個tsv自由文本評論頂部的文件。我需要跳過n線和過程

row_rdd =火花。sparkContext \ .textFile (sourceFilePath) \ .zipWithIndex () \ .filter(λ行:行[1]> = n_skip_rows) \ . map(λ行:行[0])df = spark.read.csv (row_rdd, 9 = \ t,頭= " true ", inferSchema = " true ")

我還需要處理vcf使用發光庫——這並不奏效

有什麼文檔在單用戶訪問模式到底是什麼?它和它的運行使用某人的憑證作為服務帳戶嗎?其他用戶可以連接到它使用odbc / jdbc和一個訪問令牌?還是個人計算,隻允許一個連接?

5回複5

karthik_p
尊敬的貢獻者

@Jakub K遷移外部表有一些限製,優化不支持統一目錄和創建集群與一個訪問模式時,您應該能夠處理。請按照下麵的步驟,應該創建外部位置和憑證,應該有適當的訪問進行升級

https://docs.www.eheci.com/data-governance/unity-catalog/migrate.html

jakubk
新的貢獻者三世

我不需要幫助從蜂巢metastore遷移數據

我在找一些設計模式攝取新的數據到統一目錄

我真的需要一個專用集群每個用戶能夠使用統一目錄和負載數據? ?不可能是正確的

Vidula_Khanna
主持人
主持人

嗨@Jakub K

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

jakubk
新的貢獻者三世

不,我沒有,我看不出答案了嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map