取消
顯示的結果
而不是尋找
你的意思是:

火花讀CSV閱讀時不保留雙引號!

DineshKumar
新的貢獻者三世

嗨,我想讀一個csv文件,下麵一列有雙引號。

詹姆斯,屁股,”本頓,小約翰·B“, 6649 N藍桉聖約瑟芬Darakjy,“Chanay, Jeffrey收”,4 B藍嶺大馬路藝術,Venere,“Chemel,詹姆斯L會計師”,8 W喜瑞大街# 54蕾娜,Paprocki, Feltz印刷服務,639年主要聖,安克雷奇Donette,指出,印刷尺寸、34中心聖,漢密爾頓西蒙娜,Morasca,“E查普曼,羅斯先生”,3 Mcauley博士

我用下麵的代碼來防止雙引號為csv文件。(幾行有雙引號和一些不該)

val df_usdata = spark.read.format (com.databricks.spark.csv) / / .option(“標題”、“true”) / / .option(“引用”、“\”)/ / .load(“文件:/ / / E: / /數據/ / csvdata.csv”) df_usdata.show(假)

但是沒有保護內部的雙引號dataframe但它應該。

.option(“引用”、“\””)不工作。我使用的是火花2.3.1版本。

應該像下麵的輸出。

+ - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + | first_name | last_name | company_name | + |地址- - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - -詹姆斯+ | |對接| | 6649年“本頓,小約翰·B”N藍桉聖| |約瑟芬| Darakjy |“Chanay,傑弗裏先生”| 4 B藍嶺大馬路| | |藝術Venere |“Chemel,詹姆斯L會計師”| 8 W喜瑞大街54號| |蕾娜| Paprocki | Feltz印刷服務| 639主聖| | Donette |指出|印刷尺寸34中心聖| | |西蒙娜| Morasca |“E查普曼,羅斯先生”| 3 |博士Mcauley + - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - +

問候,迪·庫馬爾

5回複5

DineshKumar
新的貢獻者三世

當我試著

.option(“引用”、“”)
和.option(“引用”、“\ u0000”) company_name列值被分裂成下一列像下麵。

+ - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - + | first_name | last_name | company_name | + |地址- - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - -詹姆斯+ | |對接|”本頓|小約翰·B”| |約瑟芬| Darakjy |“Chanay |傑弗裏先生”| | |藝術Venere |“Chemel |詹姆斯L會計師”| |蕾娜| Paprocki | Feltz印刷服務| 639主聖| | Donette |指出|印刷尺寸34中心聖| | |西蒙娜| Morasca |“E查普曼|羅斯先生”- - - - - - - - - - - | + + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - +

Forum_Admin
貢獻者

嚐試使用這兩個選項:

.option(“引用”、“\”)

.option(“逃脫”,“\”)

ManishRana
新的貢獻者二世

謝謝,它解決了我的問題生成csv

蒙妮
新的貢獻者二世

海目前,我也麵臨著同樣的問題,請讓我知道這個問題如何解決。

謝謝,

蒙妮

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map