取消
顯示的結果
而不是尋找
你的意思是:

如何將列類型str迄今為止在sparksql格式不是yyyy-mm-dd ?

semihcandoken
新的因素

我一個大型的csv文件導入到數據磚作為一個表。

我能在磚的筆記本上運行sql查詢。

在我的桌子,我有一個列包含日期信息在mm / dd / yyyy格式:

12/29/2015

12/30/2015等等……

進口這一列型磚str,而不是日期。迫使“時間戳”類型的表界麵沒有任何影響。

我怎麼能把這列類型日期在sql ?

我試著去做

從my_data_table選擇鑄造(arrival_date日期)

然而,這就要求str YYYY-mm-dd格式的列。我是mm / dd / yyyy格式如上所述。

選擇to_date(15/1/09)日期;

出於同樣的原因,不工作。

我能做些什麼來有一列的日期嗎?

SparkSQL真的不支持“更新”操作嗎?在這種情況下,我不能重新安排適合的格式字符串?我有什麼選擇嗎?

4回複4

JoeConley
新的貢獻者二世

以下為我工作:

df。withColumn (“tx_date to_date (unix_timestamp(美元“日期”,“米/ dd / yyyy”) .cast(“時間戳”)))

Bill_Chambers
因素二世

美元也to_date(“日期”,“格式”)工作。

找她
新的貢獻者二世

我試著上麵的字符串和解決的問題如下:

val df = sc.parallelize (Seq (“08-26-2016”)) .toDF (" Id ")

df.createOrReplaceTempView(表1)

val快速公車提供=火花。sql(“”“選擇from_unixtime (unix_timestamp (Id, '; '))從table1 new_format " " ")

bdf.printSchema

bdf.show

val bbdf = bdf.withColumn (“dt”、“new_format”.cast美元(“日期”))

bbdf.printSchema

bbdf.show

bbdf.select(年(dt)美元),告訴

ShubhamGupta187
新的貢獻者二世

@josephpconley會安全的把一個列包含空值嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map