取消
顯示的結果
而不是尋找
你的意思是:

如何使用withcolumn執行內連接

pramalin
新的因素
3回複3

daniel_sahal
尊敬的貢獻者三世

@prudhvi ramalingam

下麵是例子:https://stackoverflow.com/a/61029482

Nhan_Nguyen
價值貢獻

@prudhvi ramalingam你可以參考這個鏈接:https://sparkbyexamples.com/spark/spark-sql-join-on-multiple-columns/

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

@prudhvi ramalingam——請參閱下麵的示例代碼。

進口org.apache.spark.sql.functions。expr瓦爾人= Seq((0,“比爾室”,0,Seq(100)),(1,“馬泰Zaharia”, 1, Seq(500、250、100)),(2,“邁克爾Armbrust”, 1, Seq (250、100))) .toDF (“id”、“名稱”、“graduate_program”,“spark_status”) val graduateProgram = Seq((0,“大師”,“學校的信息”,“加州大學伯克利分校”),(2,“大師”,“電”,“加州大學伯克利分校”),(1,“博士”。“電”,“加州大學伯克利分校”).toDF (“id”、“學位”,“部門”、“學校”)val sparkStatus = Seq((500年,“副總統”),(250年,“PMC成員”),(100年,“貢獻者”)).toDF (“id”,“狀態”)人.withColumnRenamed (“id”、“personId”) . join (sparkStatus, expr (“array_contains (spark_status, id)”)),告訴()

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map