設置和使用變量在DLT管道筆記本

[kskistad]

使用DLT,我有兩個流源來自自動裝卸機。Source1包含文件中的一行數據和Source2有成千上萬的行。之間有一個共同的鍵列兩個來源一起加入他們的行列。到目前為止還好。

我有一個函數,一個CosmosDB數據庫中查找一個項目。這個函數接受一個ItemId作為參數。我使用返回值作為一個過濾器的管道在下一步。我在這個函數可以硬編碼一個ItemId和管道運行沒有問題,從宇宙拉回正確的數據和過濾器DLT表正確。然而,我不想硬編碼ItemId但得到它從文件後Source1土地的價值。Source1總是每個文件隻包含一行和ItemId列這一行。

我一直是這樣的:

ItemId =火花。sql(“從流(LIVE.Source1)選擇ItemId”) FilterInfo = LookupInCosmosdb (ItemId)

…但這並不工作。我試過其他的東西,都沒有工作。

我怎麼能:

1. 設置一個變量從一個DLT流表
2. 使用該變量在另一個DLT表作為過濾器條款
3. 或者,直接在WHERE子句中使用子選擇Source2是這樣的:
   1. SELECT * FROM Source2 Source2的地方。在(選擇ItemId LookupInCosmosdb(從Source1 Source1.KeyCol))