磚

我不認為三角洲生活表代碼是互動的,我們需要創建管道和測試代碼。

是的,我們可以使用下麵的代碼snippetspark .readStream .format .option (“kafka.bootstrap(“卡夫卡”)。服務器”、“host1:端口1,host2:端口2”).option (“subscribePattern”、“主題。*”).load ()

val df = Seq ((“2021-11-05 02:46:47.154410”) (“2019-10-05 2:46:47.154410”)) .toDF (“old_column”)顯示(df)進口org.apache.spark.sql.functions。_val df2 = df。withColumn (“new_column”, from_unixtime (unix_timestamp(坳(“old_column”)、“yyyy-MM-dd HH: mm: ss ....

緩存比檢查點當你有很多非常有用的可用內存來存儲你的抽樣或Dataframes如果他們是巨大的。緩存將保持你的轉換,這些轉換的結果不會有recomp……

我們可以閱讀從Solr Dataframe以及SolrRDD(每個抽樣SolrDocument)更多的細節