我想解決你的問題是使用自動加載程序流讀取數據,因為它支持模式提示。如果你不想使用它作為流足夠的指定觸發一次(一旦所有加載json將完成工作)。
這是關於加載json:
https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-json.html
然後你就可以指定模式提示:
https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-schema.html schema-hints
另外你可以嚐試不同的模式演化選擇流
我想解決你的問題是使用自動加載程序流讀取數據,因為它支持模式提示。如果你不想使用它作為流足夠的指定觸發一次(一旦所有加載json將完成工作)。
這是關於加載json:
https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-json.html
然後你就可以指定模式提示:
https://docs.www.eheci.com/spark/latest/structured-streaming/auto-loader-schema.html schema-hints
另外你可以嚐試不同的模式演化選擇流