pyspark.sql.functions.from_csv

pyspark.sql.functions。 from_csv ( 上校:ColumnOrName,模式:聯盟(pyspark.sql.types.StructType,pyspark.sql.column.Column,str],選項:可選(Dict(str,str]]=沒有一個 )→pyspark.sql.column.Column

解析一個列包含一個CSV指定字符串的行模式。返回零,對於一個unparseable字符串。

參數

上校 列或str

在CSV格式列或列的名字

模式:類:“~ pyspark.sql。列”或str

列或Python字符串模式在DDL格式,解析CSV列時使用。

選項 東西,可選

選項來控製解析。接受相同的選項CSV數據源。看到數據源的選擇在你使用的版本。

例子

> > >數據=((“1、2、3”,)> > >df=火花。createDataFrame(數據,(“價值”,))> > >df。選擇(from_csv(df。價值,“c b INT, INT, INT”)。別名(“csv”))。收集()(行(csv =行(a = 1, b = 2, c = 3)))> > >價值=數據(0][0]> > >df。選擇(from_csv(df。價值,schema_of_csv(價值))。別名(“csv”))。收集()(行(csv =行(_c0 = 1, _c1 = 2, _c2 = 3)))> > >數據=((“abc”,)> > >df=火花。createDataFrame(數據,(“價值”,))> > >選項={“ignoreLeadingWhiteSpace”:真正的}> > >df。選擇(from_csv(df。價值,“字符串”,選項)。別名(“csv”))。收集()(行(csv =行(s = ' abc ')))

以前的

pyspark.sql.functions.map_concat

下一個

pyspark.sql.functions.schema_of_csv