pyspark.StorageLevel

pyspark。 StorageLevel ( useDisk:bool,useMemory:bool,useOffHeap:bool,反序列化:bool,複製:int=1 )

旗幟的存儲控製抽樣。每個StorageLevel記錄是否使用內存,是否把抽樣到磁盤如果它掉出來的內存,是否保持在內存中數據的java特定序列化格式,以及是否在多個節點上複製抽樣分區。也包含一些常用的靜態常量存儲水平,MEMORY_ONLY。由於數據總是序列化在Python方麵,所有的常量使用序列化格式。

屬性

DISK_ONLY

DISK_ONLY_2

DISK_ONLY_3

MEMORY_AND_DISK

MEMORY_AND_DISK_2

MEMORY_AND_DISK_DESER

MEMORY_ONLY

MEMORY_ONLY_2

OFF_HEAP