你好,如果我在一個設置任何秘密env var使用集群級init腳本,它仍然是可用的用戶附加任何筆記本到集群,輕鬆地提取打印。
有一些提示在文檔中的秘密”無法訪問從程序運行在火花”(我假定它是指命令在筆記本)但我嚐試幾個組合都無濟於事。
我敢肯定,我丟失的東西。任何幫助將不勝感激,謝謝!
@Fermin韋森特
嗨,文森特,
您可以使用下麵的init腳本將從spark-env刪除環境變量。sh,運行init腳本後將不可用:
sed - i ' / ^令牌/ d ' /磚/ / conf / spark-env.sh火花
例子:
如果你有在集群引發環境變量中設置以下環境變量:
令牌={{秘密/ mlflow_model_reg / ml-token}}
在init腳本使用以下行最後將刪除“令牌”火花env的環境變量:
sed - i ' / ^令牌/ d ' /磚/ / conf / spark-env.sh火花
火花。密碼{{秘密/ scope1 / key1}}是火花比它將可用在所有財產和筆記本通過spark.conf.get (“spark.password”)(我們添加火花集群配置)
SPARKPASSWORD ={{秘密/ scope1 / key1}}是環境變量(我們將它添加在集群環境變量配置)
問題是,與一個標準的帳戶你獲得秘密——他們所有人。在保費,可以做出不同的範圍並設置其中一個可訪問用戶創建。啟動集群(環境變量)所以人們運行筆記本將無法獲得的秘密。