是的,磚磚之外的功能表可以存儲文件係統(DBFS)。你可以存儲在Amazon S3等外部存儲係統功能表,Azure Blob存儲Azure數據存儲、湖或Hadoop分布式文件係統(HDFS)。
在外部存儲器存儲功能表,您需要配置存儲係統,並提供適當的連接信息在創建你的δ表。例如,當使用Amazon S3時,您將指定在創建表時的S3 bucket路徑。
這裏有一個例子如何創建一個使用PySparkδ表Amazon S3存儲桶中:
”“python
從pyspark。sql進口SparkSession
#啟動一個火花會話
火花= SparkSession。構建器\
.appName (“S3磚特性表”)\
.getOrCreate ()
#定義DataFrame樣本
data =[(34歲的“愛麗絲”)(“Bob”, 45歲),(“凱西”,29))
列=(“名字”,“年齡”)
df =火花。createDataFrame(數據列)
#寫DataFrameδ表在S3中
delta_table_path = " s3a: / / your-bucket-name / your-delta-table-path /”
df.write.format(“δ”).mode(“覆蓋”).save (delta_table_path)
' ' '
“your-bucket-name”和“your-delta-table-path”替換為適當的值為您的Amazon S3 bucket和期望的路徑。注意,您需要配置您的S3的身份驗證,並確保你有必要讀和寫的權限指定的桶。