取消
顯示的結果
而不是尋找
你的意思是:

火花讀CSV閱讀時不保留雙引號!

DineshKumar
新的貢獻者三世

嗨,我想讀一個csv文件,下麵一列有雙引號。

詹姆斯,屁股,”本頓,小約翰·B“, 6649 N藍桉聖約瑟芬Darakjy,“Chanay, Jeffrey收”,4 B藍嶺大馬路藝術,Venere,“Chemel,詹姆斯L會計師”,8 W喜瑞大街# 54蕾娜,Paprocki, Feltz印刷服務,639年主要聖,安克雷奇Donette,指出,印刷尺寸、34中心聖,漢密爾頓西蒙娜,Morasca,“E查普曼,羅斯先生”,3 Mcauley博士

我用下麵的代碼來防止雙引號為csv文件。(幾行有雙引號和一些不該)

val df_usdata = spark.read.format (com.databricks.spark.csv) / / .option(“標題”、“true”) / / .option(“引用”、“\”)/ / .load(“文件:/ / / E: / /數據/ / csvdata.csv”) df_usdata.show(假)

但是沒有保護內部的雙引號dataframe但它應該。

.option(“引用”、“\””)不工作。我使用的是火花2.3.1版本。

應該像下麵的輸出。

+ - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + | first_name | last_name | company_name | + |地址- - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - -詹姆斯+ | |對接| | 6649年“本頓,小約翰·B”N藍桉聖| |約瑟芬| Darakjy |“Chanay,傑弗裏先生”| 4 B藍嶺大馬路| | |藝術Venere |“Chemel,詹姆斯L會計師”| 8 W喜瑞大街54號| |蕾娜| Paprocki | Feltz印刷服務| 639主聖| | Donette |指出|印刷尺寸34中心聖| | |西蒙娜| Morasca |“E查普曼,羅斯先生”| 3 |博士Mcauley + - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - +

問候,迪·庫馬爾

5回複5

LearningAj
新的因素

嗨,團隊,

我也麵臨同樣的問題,我申請了所有的選項從上麵提到的文章:

我會在這裏把我的數據集:

learningaj_0 - 1691694163947. - png

附件是我的輸入數據和3種不同的列評論列包含文本值和雙引號、逗號和讀取這個數據集我ave逃避所有選項,但仍使用評論列的數據搬到第三列。

下麵是後從csv數據集執行讀:

learningaj_1 - 1691694446508. - png

請您盡快幫助在這個問題上。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map