我一個大型的csv文件導入到數據磚作為一個表。
我能在磚的筆記本上運行sql查詢。
在我的桌子,我有一個列包含日期信息在mm / dd / yyyy格式:
12/29/2015
12/30/2015等等……
進口這一列型磚str,而不是日期。迫使“時間戳”類型的表界麵沒有任何影響。
我怎麼能把這列類型日期在sql ?
我試著去做
從my_data_table選擇鑄造(arrival_date日期)
然而,這就要求str YYYY-mm-dd格式的列。我是mm / dd / yyyy格式如上所述。
選擇to_date(15/1/09)日期;
出於同樣的原因,不工作。
我能做些什麼來有一列的日期嗎?
SparkSQL真的不支持“更新”操作嗎?在這種情況下,我不能重新安排適合的格式字符串?我有什麼選擇嗎?
我試著上麵的字符串和解決的問題如下:
val df = sc.parallelize (Seq (“08-26-2016”)) .toDF (" Id ")
df.createOrReplaceTempView(表1)
val快速公車提供=火花。sql(“”“選擇from_unixtime (unix_timestamp (Id, '; '))從table1 new_format " " ")
bdf.printSchema
bdf.show
val bbdf = bdf.withColumn (“dt”、“new_format”.cast美元(“日期”))
bbdf.printSchema
bbdf.show
bbdf.select(年(dt)美元),告訴