有用的#火花為開發人員配置:
▶spark.executor。內存:內存設置為每一個執行程序的過程。
▶spark.driver。記憶:指定的內存驅動過程。
▶spark.default.parallelism:指定默認的並行性。
▶spark.dynamicAllocation。啟用:啟用/禁用動態資源分配。
▶spark.dynamicAllocation。minExecutors:集動態分配的最小數量的執行人。
▶spark.dynamicAllocation。maxExecutors:設置為動態分配執行人的最大數量。
▶spark.sql.shuffle。分區:指定分區的數量在SQL打亂。
▶spark.driver。核心:集核心驅動過程的數量。
▶spark.executor。核心:集核的數量為每個執行程序的過程。
▶spark.executor。實例:指定遺囑執行人實例的數量。
▶spark.shuffle。泄漏:啟用/禁用溢出到磁盤的數據打亂。
▶spark.shuffle.spill.compress:啟用/禁用壓縮了數據在打亂。
▶spark.executor。heartbeatInterval:指定的時間間隔執行程序和驅動程序之間的心跳。
▶spark.driver。maxResultSize:集的最大大小結果之前,司機可以累積釋放他們。
▶spark.yarn.am。核心:指定數量的芯紗應用程序的主。
▶spark.yarn.executor。memoryOverhead:指定每個執行者在紗的內存開銷。
▶spark.yarn.executor。核心:集核的數量為每個執行者在紗線。
▶spark.yarn。maxAppAttempts:指定的最大數量為應用程序嚐試在紗線。
▶spark.driver。extraClassPath:將額外的類路徑添加到驅動程序類路徑中。
▶spark.executor。extraClassPath:添加額外的類路徑來執行程序類路徑中。
▶spark.yarn。隊列:指定應用程序的隊列在紗線。
▶spark.kryoserializer.buffer.max:集的最大緩衝區大小Kryo序列化器。
▶spark.ui。reverseProxy:啟用/禁用反向代理支持UI的火花。
▶spark.ui。reverseProxyUrl:指定UI火花的反向代理的URL。
▶spark.network.timeout:設置網絡超時時間節點之間的通信。
# dataengineering#數據#火花
