在Python中,流媒體閱讀的DLT蜂巢表

[MetaRossiVinli]

我把數據從穀歌BigQuery和編寫一個青銅表在一個時間間隔。我這樣做在一個單獨的連續工作,因為DLT不喜歡BigQuery連接器dataframe DLT內部調用收集。

在Python中,我想讀到銅表DLT以流媒體的方式和一些複雜的dataframe邏輯創建一個銀表和函數。我可以完成這個使用以下SQL,但是我們大部分的管道是在Python中,我想知道如何做到這一點。

我可能錯過的東西,而小。我不想使用絕對路徑,如果可能的話。我寧願參考表。

我下麵的SQL轉換為Python怎麼樣?我可以在Python中使用一個表引用嗎?這個解釋文檔在哪裏?

創建流媒體實時視圖silver_1——創建一個新的流媒體實時視圖稱為silver_1 SELECT * FROM流(dev.bronze_raw)——目錄= hive_metastore模式= dev -表= bronze_raw——路徑類似= dbfs: / user /蜂巢/倉庫/ dev.db / bronze_raw

Python請…

進口dlt ? ? ?

[MetaRossiVinli · Accepted solution]

以下代碼是一個解決方案。我失蹤了,我可以閱讀從一個表“spark.readStream.format .table(“δ”)(“…”)。簡單。剛好錯過了那班車。這是不同於dlt.read_stream()的出現在很多例子。

這是引用文檔在疾控中心作為一個例子:https://docs.www.eheci.com/delta-live-tables/cdc.html。

進口dlt @dlt。表(table_properties ={“質量”:“銀”})def silver_1(): #讀表的變化作為流df = spark.readStream.format .table(“δ”)(“hive_metastore.dev.bronze_raw”) #返回整個dataframe所有列返回df

這樣的閱讀從一個表沒有顯式地給出一個例子在Python裁判:https://docs.www.eheci.com/delta-live-tables/python-ref.html。我認為這一個例子在“閱讀來源”一節以各種方式與例子如何閱讀會救人。我將發送一些反饋。