我使用多個主題從支流卡夫卡和處理每一行使用火花結構化流(業務規則。writestream和.foreach ())。這樣做我調用其他筆記本使用%運行時,調用類通過foreach在執行寫流。類的open()、過程(),()和其他方法接近應用業務規則為每個主題和加載數據庫。一個記錄從一個主題有一些錯誤和失敗而調用的方法適用於業務規則。有一種簡單的方式介入到筆記本在運行時(通過添加斷點),看到記錄是通過和失敗(線)是在哪裏?
我穀歌搜索和我看到的最好的選擇是做一個print語句,並檢查從引發工人節點stdout。我仍然不能確定我在stdout的print語句。有更好的方法來調試這個場景嗎?
