我可以使用pyspark能夠保存數據到S3但不知道如何將一個文件流對象保存到使用pyspark S3 bucket。python的幫助下我可以實現這一但當統一目錄上啟用Databrciks總是最終拒絕訪問異常。
我添加了一個截圖,示例代碼來檢查相同
% python導入請求導入json進口io進口boto3 s3_client = boto3.client (s3) r = s3_client.put_object(= "身體反應。內容”,桶= " bucketName”,關鍵= "文件名")
我的問題是
為什麼能夠將數據保存到一個Amazon S3 bucket和Python使用Pyspak但不是嗎?
保存數據時使用python pyspark為什麼不工作?如果有一個原因我們如何使用pyspark保存文件?
