取消
顯示的結果
而不是尋找
你的意思是:

你如何訪問流媒體直播表的快照嗎?

logan0015
貢獻者

我讀過三角洲生活表將持續7天的曆史。然而在創建一個流表和使用dlt生活。apply_changes函數。有了此代碼

def run_pipeline (table_name、鑰匙、sequence_by): lower_table_name = table_name.lower @dlt ()。視圖(name = f“{lower_table_name} _schema”,評論=“測試”)def create_raw_schema():返回(spark.read.format .option(“鋪”)(“inferschema”,真的).load (f”s3: / / mybucket /測試/ dbo / {table_name} /”) .limit(10)) #創建表@dlt噓。表(name = f {lower_table_name} _hist”,評論=“測試”)def create_hist_table():返回(spark.readStream.format .option (“cloudFiles (“cloudFiles”)。形式at", "parquet") .schema(dlt.read(f"{lower_table_name}_schema").schema) .load(f"s3://mybucket/test/dbo/{table_name}/") ) #creating current table dlt.create_streaming_live_table( name = f"{lower_table_name}", path = f"s3://mybucket/test/cdc/{table_name}__ct/") dlt.apply_changes( target = f"{lower_table_name}", source = f"{lower_table_name}_hist", keys = keys, sequence_by = col(sequence_by) )

當我試圖訪問任何版本曆史

從dlt選擇*。my_table時間戳的“2022-10-10”

我得到這個消息“不能時間旅行的觀點。”

3回複3

Hubert_Dudek1
尊敬的貢獻者三世

哪些表查詢你想從你的例子,沒有一個是my_table嗎?

我改變了一些代碼來刪除任何個人信息。表名被傳遞到管道的功能從一段代碼。my_table隻是一個例子的名字。

Vidula_Khanna
主持人
主持人

嗨@Logan考

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map