從集群選項卡上,選擇一個集群並查看火花UI。
環境選項卡顯示當前引發配置設置。
這裏有一個詳盡的清單的火花配置參數:https://spark.apache.org/docs/latest/configuration.html
的
SparkContext
為你提供在筆記本UI,因此你不能改變這些值在你筆記本上的代碼。一次
SparkConf
傳遞給
SparkContext
構造函數,是克隆和不能改變的值。這是一個引發限製。
有一點要注意的是,磚已經調整了火花到最常見的工作負載運行在特定的EC2實例類型中使用磚雲。
換句話說,你不應該更改這些默認值在極端情況下除外。更改這些默認值,請聯係磚雲支持。
如果您正在使用SqlContext或HiveContext,您可以使用HiveQL手動設置配置屬性
設置鍵=值
命令
spark.sql。*
從這個列表屬性,例如:
https://spark.apache.org/docs/latest/sql-programming-guide.html配置。
然而,這些配置值覆蓋給集群中的其他用戶可能會導致問題。
