如何創建一個文件從S3 bucket dataframe嗎

[akj2784]

我將我從磚的S3 bucket。

使用下麵的命令:

進口urllib

進口urllib.parse

ACCESS_KEY = "測試"

SECRET_KEY = "測試"

ENCODED_SECRET_KEY = urllib.parse。報價(SECRET_KEY”、“) AWS_BUCKET_NAME =“測試”MOUNT_NAME = dbutils.fs“S3_Connection_details”。山(“s3n: / / % s: % s@ % s % (ACCESS_KEY, ENCODED_SECRET_KEY AWS_BUCKET_NAME)“/ mnt / % s”% MOUNT_NAME)

當我運行下麵的命令,我得到的csv文件列表出現在桶裏。

顯示器(dbutils.fs.ls (“/ mnt / S3_Connection”))

如果有10個文件,我想創建10個不同的表在postgreSQL讀完csv文件。我不需要任何轉換。它是可行的嗎?

首先,如何創建一個dataframe使用csv文件之一。如果有人能幫我的語法。

問候,

阿卡什

[李]

請查看文檔。df.head()將顯示默認第一1行,但你可以將一個整數作為參數添加到顯示額外的:https://spark.apache.org/docs/latest/api/python/pyspark.sql.html pyspark.sql.DataFrame.head

請看其他顯示方法如df.show()或自定義數據磚方法顯示(df)