取消
顯示的結果
而不是尋找
你的意思是:

如何創建一個文件從S3 bucket dataframe嗎

akj2784
新的貢獻者二世

我將我從磚的S3 bucket。

使用下麵的命令:

進口urllib

進口urllib.parse

ACCESS_KEY = "測試"

SECRET_KEY = "測試"

ENCODED_SECRET_KEY = urllib.parse。報價(SECRET_KEY”、“) AWS_BUCKET_NAME =“測試”MOUNT_NAME = dbutils.fs“S3_Connection_details”。山(“s3n: / / % s: % s@ % s % (ACCESS_KEY, ENCODED_SECRET_KEY AWS_BUCKET_NAME)“/ mnt / % s”% MOUNT_NAME)

當我運行下麵的命令,我得到的csv文件列表出現在桶裏。

顯示器(dbutils.fs.ls (“/ mnt / S3_Connection”))

如果有10個文件,我想創建10個不同的表在postgreSQL讀完csv文件。我不需要任何轉換。它是可行的嗎?

首先,如何創建一個dataframe使用csv文件之一。如果有人能幫我的語法。

問候,

阿卡什

5回複5

shyam_9
價值貢獻
價值貢獻

akj2784
新的貢獻者二世

我已經檢查了這個…仍然不能夠看到數據。

df = spark.read.text (mnt / S3_Connection / Details.csv)

我仍然沒有看到數據。

試著讀使用下麵的方法,

df = spark.read.text (“/ mnt / % s / ....”% MOUNT_NAME)

df = sc.textFile (“s3a: / / % s: % s@ % s /…/……”% ACCESS_KEY, ENCODED_SECRET_KEY, BUCKET_NAME)

akj2784
新的貢獻者二世

我能創建dataframe但當我做df.head(),我隻看到列名稱。但是我想看一下數據。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map