獲得廣播連接錯誤

[jose_gonzalez]

我想知道如何禁用廣播加入我的工作為了避免這個錯誤消息。有火花的配置嗎?

[jose_gonzalez · Accepted solution]

你可以禁用廣播加入通過添加以下火花配置你的筆記本:

spark.conf.set (“spark.sql。autoBroadcastJoinThreshold”, 1)

此外,還可以添加這個配置集群:

spark.sql。autoBroadcastJoinThreshold 1

你可以禁用筆記本級別或集群級別。