我們在哪裏可以使用廣播變量?

[Prototype998]

最好的情況下,我們可以使用廣播變量?

[Rishabh264 · Accepted solution]

嘿@Punit Chauhan

BV以同樣的方式用於抽樣,DataFrame和數據集。

當您運行一個火花抽樣,DataFrame廣播變量定義和使用工作,引發以下。

• 引發了分布式洗牌的工作分為幾個階段和行動的執行階段。
• 後期也分為任務
• 火花BV任務所需的通用數據(可重複使用)在每個階段。
• BV的數據緩存之前在序列化和反序列化格式執行每一項任務。