如何從十進製轉換列類型在sparksql日期

[pepevo]

我需要列類型從十進製轉換為日期在sparksql格式不是yyyy-mm-dd ?

一個表包含列數據聲明為十進製(38歲,0)和數據名稱格式,我無法在databrick筆記本上運行sql查詢。

我曾經嚐試過to_date (column_name) = date_sub(當前日期(),1),它不工作。我試過了,”from_unixtime (cast (column_name字符串),“yyyy-MM-dd”)或to_date (cast (unix_timestamp (column_name, yyyy-MM-dd”),他們都沒有工作。From_unixtime (cast (column_name字符串),“yyyy-mm-dd”,它給我正確的格式但這些數據表中不存在。

我怎麼能把這列類型日期在sql ?

[User16857282152]

這是一個工作示例,

在SQL中,

創建表temp1(選擇20010101.00日期);

——這將創建一個表與單個列命名為“日期”,小數的數據類型。

——驗證運行“描述temp1”;

to_date函數接受一個字符串作為輸入,所以首先把十進製轉換字符串。

選擇演員從temp1(日期字符串);

一旦你有了一個字符串可以推動一個日期,

選擇to_date(鑄造(日期字符串),“名稱”)從temp1日期;

你可以做同樣的使用dataframe api。

df1 =火花。sql(“選擇20010101.00日期”)

轉換為字符串

df2 = df1.select (df1.date.cast(“字符串”))

下降的小數

從pyspark.sql。功能導入substring_index

df3 = df2.select (substring_index (df2。目前為止,”。',1).alias(日期))

將字符串轉換為日期

從pyspark.sql。功能導入to_date

df4 = df3。選擇(to_date(“日期”、“名稱”).alias(日期))

[pepevo]

謝謝你的輸入。

我試圖從表中選擇列本身你顯示是的,我獲得正確的格式轉換從名稱到yyyy-MM-dd輸出,但是當我把它在where子句如下:

select count(*)從table_name to_date ((column_name字符串),'名稱')= date_sub(當前日期(),1));

我的輸出是0,而不是超過500000條記錄。

[User16857282152]

這看起來很奇怪,

相反的,有接受過你想比較日期轉換為一個字符串,然後比較

select *從表(列把字符串)= date_format (date_sub(當前日期(),1),“名稱”)

[pepevo]

我和輸出仍= 0。

* column_name load_dt_id

select count(*)從table_name to_date ((load_dt_id字符串),'名稱')= date_format (date_sub(), 1), '名稱');

有7億條記錄和計數不能0如果load_dt_id sysdate 1。

從甲骨文數至少5億如果load_dt_id sysdate 1。