“SparkSecurityException:無法讀取敏感關鍵”錯誤當從引發閱讀關鍵配置

[凱西奧]

在磚10.1可以定義“火花配置”的集群類似:

火花。fernet{{秘密/ myscope /儲存的密鑰}}。就我而言我的範圍與Azure關鍵庫。

我可以查詢如下:

%的sql選擇違約。udfDecrypt(“我的加密數據”,“$ {spark.fernet} "));

然而從磚10.2版本的我得到以下信息”錯誤的SQL語句:SparkSecurityException:無法讀取敏感關鍵的火花。fernet從安全提供者”

我已經看了看磚10.2更改日誌很有可能,但是我找不到它。

這個功能已經完全移除或我可以啟用此配置閱讀嗎?

[拉維 · Accepted solution]

@Cassio Eskelsen使用秘密與美元select查詢語法現在阻塞是由於安全原因DBRs新(10.2 +),我們很快就會阻止它DBRs所有支持的未來版本。這就是為什麼我們DBR 10.2中的錯誤而不是先前DBR版本。

你可以添加以下火花配置集群設置,它會禁用驗證DBRs已添加到新的。這必須被添加在集群級別。

• spark.databricks.secureVariableSubstitute。啟用了錯誤

[凱西奧]

謝謝,拉維!解決我的問題!

[匿名]

謝謝你的選擇最佳答案@Cassio Eskelsen !超級有幫助,讓我們知道你需要什麼!

[Soma]

如果我使用這個解決方案使整個秘密

下麵的命令

sql(“”“解釋選擇上(" $ {spark.fernet.email} ")作為數據”" ").display ()

請不要使用這個