嗨@dsugs謝謝你張貼在這裏。
您需要使用重新分配(1)寫一個文件分割成s3,然後你必須移動單一文件給你destination_path文件名。
您可以使用下麵的代碼片段:
output_df.repartition (1) .write.format (file_format) .mode (write_mode) .option(“標題”、“true”)。選項(“inferSchema”,“真正的”).save (output_path)幀= [y.name y dbutils.fs.ls (output_path)如果y.name.startswith(”——“部分)]dbutils.fs。mv (output_path + " +幀[0],f“{output_path} .parquet”) dbutils.fs.rm (output_path)
#這段代碼首先獲取output_path目錄中所有文件的列表#開始”——“一部分。這是因為火花output_path鋪寫文件
#目錄分區,我們隻想第一個分區。
#下一行第一個分區移動到一個名為output_path.parquet的新文件。
#最後,代碼刪除output_path目錄。
嗨@dsugs謝謝你張貼在這裏。
您需要使用重新分配(1)寫一個文件分割成s3,然後你必須移動單一文件給你destination_path文件名。
您可以使用下麵的代碼片段:
output_df.repartition (1) .write.format (file_format) .mode (write_mode) .option(“標題”、“true”)。選項(“inferSchema”,“真正的”).save (output_path)幀= [y.name y dbutils.fs.ls (output_path)如果y.name.startswith(”——“部分)]dbutils.fs。mv (output_path + " +幀[0],f“{output_path} .parquet”) dbutils.fs.rm (output_path)
#這段代碼首先獲取output_path目錄中所有文件的列表#開始”——“一部分。這是因為火花output_path鋪寫文件
#目錄分區,我們隻想第一個分區。
#下一行第一個分區移動到一個名為output_path.parquet的新文件。
#最後,代碼刪除output_path目錄。