pyspark.SparkContext.pickleFile¶
-
SparkContext。pickleFile( 的名字:str,minPartitions:可選(int]=沒有一個 )→pyspark.rdd.RDD(任何] ¶ -
加載一個抽樣之前保存使用
RDD.saveAsPickleFile ()方法。例子
> > >臨時文件=NamedTemporaryFile(刪除=真正的)> > >臨時文件。關閉()> > >sc。並行化(範圍(10))。saveAsPickleFile(臨時文件。的名字,5)> > >排序(sc。pickleFile(臨時文件。的名字,3)。收集())(0,1,2,3,4,5,6,7,8,9)