統一目錄——火花。*函數拋出Py4JSecurityException - org.apache.spark.sql.internal.CatalogImpl.currentCatalog()類類org.apache.spark.sql.internal.CatalogImpl不是白名單

[jakubk]

我想遷移到統一目錄但我的一些數據攝入筆記本扔拋出securityexception /白名單錯誤為許多火花。功能

有一些配置設置我需要啟用白名單的火花。*方法/函數?

我知道它,因為我使用的共享訪問模式。我一直沒有隔離共享集群運行之前,當使用hive metastore與外部表

我使用外部管理表和使用火花。目錄,檢查是否存在一個表在我創建它。這與白名單沒有錯誤。我可以重構,檢查使用information_schema列我猜嗎?

但任何如何重構呢?

我有多個tsv自由文本評論頂部的文件。我需要跳過n線和過程

row_rdd =火花。sparkContext \ .textFile (sourceFilePath) \ .zipWithIndex () \ .filter(λ行:行[1]> = n_skip_rows) \ . map(λ行:行[0])df = spark.read.csv (row_rdd, 9 = \ t,頭= " true ", inferSchema = " true ")

我還需要處理vcf使用發光庫——這並不奏效

有什麼文檔在單用戶訪問模式到底是什麼?它和它的運行使用某人的憑證作為服務帳戶嗎?其他用戶可以連接到它使用odbc / jdbc和一個訪問令牌?還是個人計算,隻允許一個連接?

[Vidula_Khanna]

嗨@Jakub K

對不起你找不到解決問題的答案。

我們的社區努力提供有用的和準確的信息,但有時立即隻能用於一些問題的解決方案。

我建議提供更多的信息關於你的問題,比如特定的錯誤消息,錯誤日誌或你有采取措施的細節。這可以幫助我們的社區成員更好地理解問題,提供更有針對性的解決方案。

或者,您可以考慮聯係支持團隊為你的產品或服務。他們也許能夠提供額外的援助或升級到適當的部分進一步調查。

謝謝你的耐心和理解,請讓我們知道如果有什麼我們能做的來幫助你。