取消
顯示的結果
而不是尋找
你的意思是:

如何添加一個新的datetime列火花dataFrame從現有的時間戳列

User16790091296
因素二世

我有一個數據幀火花,有一個時間戳列。我想添加一個新的列這個數據幀的DateTime格式創建以下從現有的時間戳列。

“YYYY-MM-DD HH: MM: SS”

3回複3

Srikanth_Gupta_
價值貢獻

val df = Seq ((“2021-11-05 02:46:47.154410”) (“2019-10-05 2:46:47.154410”)) .toDF (“old_column”)

顯示器(df)

進口org.apache.spark.sql.functions._

val df2 = df。withColumn (“new_column from_unixtime (unix_timestamp(坳(“old_column”)、“yyyy-MM-dd HH: mm: ss.SSSSSS”),“yyyy-MM-dd HH: mm: ss”))

顯示器(df2)

我已經測試了這個和這個應該工作

Kaniz
社區經理
社區經理

你可以利用to_timestamp

Kaniz
社區經理
社區經理

從pyspark進口SparkContext

從pyspark。sql進口SQLContext

從functools進口減少

進口pyspark.sql。函數作為F

sc = SparkContext.getOrCreate ()

sql = SQLContext (sc)

input_list = [

(1、“2019-11-07 10:30:00”),(1,“2019-11-08 10:30:00”)

(1,“2019-11-09 10:30:00”)

(1,“2019-11-11 10:30:00”)

(1,“2019-11-12 10:30:00”)

(1,“2019-11-13 10:30:00”)

(1,“2019-11-14 10:30:00”)

“2019-11-08 10:30:00”,(2)

“2019-11-09 10:30:00”,(2)

“2019-11-09 10:30:00”,(3)

“2019-11-10 10:30:00”,(3)

“2019-11-11 10:30:00”,(3)

“2019-11-15 10:30:00”,(2)

“2019-11-18 10:30:00”,(2)

(4,“2019-11-10 10:30:00”)

(4,“2019-11-11 10:30:00”)

sparkDF = sql.createDataFrame (input_list (“customerid”,“日期”))

sparkDF = sparkDF.withColumn (date_timestamp, F.to_timestamp (F.col(“日期”),yyyy-MM-dd HH: mm: ss)) sparkDF.show ()

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map