pyspark.Broadcast¶
-
類
pyspark。廣播( sc:可選(SparkContext]=沒有一個,價值:可選(T]=沒有一個,pickle_registry:可選(BroadcastPickleRegistry]=沒有一個,路徑:可選(str]=沒有一個,sock_file:可選(BinaryIO]=沒有一個 ) ¶ -
一個廣播變量創建
SparkContext.broadcast ()。訪問它的價值通過價值。例子
> > >從pyspark.context進口SparkContext> > >sc=SparkContext(“本地”,“測試”)> > >b=sc。廣播([1,2,3,4,5])> > >b。價值(1、2、3、4、5)> > >sc。並行化([0,0])。flatMap(λx:b。價值)。收集()(1、2、3、4、5、1,2,3,4,5]> > >b。unpersist()
> > >large_broadcast=sc。廣播(範圍(10000年))
方法
摧毀((阻塞))消滅所有相關數據和元數據廣播變量。
轉儲(f值)init_with_process_isolation(sc、價值…)初始化變量通過廣播信任文件路徑。
負載(文件)load_from_path(路徑)unpersist((阻塞))刪除緩存的副本這播出執行人。
屬性
返回播放的值