如何創建一個文件從S3 bucket dataframe嗎

[akj2784]

我將我從磚的S3 bucket。

使用下麵的命令:

進口urllib

進口urllib.parse

ACCESS_KEY = "測試"

SECRET_KEY = "測試"

ENCODED_SECRET_KEY = urllib.parse。報價(SECRET_KEY”、“) AWS_BUCKET_NAME =“測試”MOUNT_NAME = dbutils.fs“S3_Connection_details”。山(“s3n: / / % s: % s@ % s % (ACCESS_KEY, ENCODED_SECRET_KEY AWS_BUCKET_NAME)“/ mnt / % s”% MOUNT_NAME)

當我運行下麵的命令,我得到的csv文件列表出現在桶裏。

顯示器(dbutils.fs.ls (“/ mnt / S3_Connection”))

如果有10個文件,我想創建10個不同的表在postgreSQL讀完csv文件。我不需要任何轉換。它是可行的嗎?

首先,如何創建一個dataframe使用csv文件之一。如果有人能幫我的語法。

問候,

阿卡什

[shyam_9]

嗨@akj2784,

請通過磚文檔在S3處理文件,

https://docs.www.eheci.com/spark/latest/data-sources/aws/amazon-s3.html mount-s3-buckets-with-dbfs

[akj2784]

我已經檢查了這個…仍然不能夠看到數據。

df = spark.read.text (mnt / S3_Connection / Details.csv)

我仍然沒有看到數據。

[shyam_9]

試著讀使用下麵的方法,

df = spark.read.text (“/ mnt / % s / ....”% MOUNT_NAME)

和

df = sc.textFile (“s3a: / / % s: % s@ % s /…/……”% ACCESS_KEY, ENCODED_SECRET_KEY, BUCKET_NAME)

[akj2784]

我能創建dataframe但當我做df.head(),我隻看到列名稱。但是我想看一下數據。