問題

您正試圖將數據附加到文件保存在外部存儲掛載點,並得到一個錯誤信息:OSError: [Errno 95]操作不受支持的。

試圖添加一個文件時發生錯誤從Python和R。

導致

不支持直接附加和隨機寫在保險絲v2,可用在磚運行時6.0及以上。這是通過設計。

底層存儲,安裝DBFS不支持添加。這意味著數據磚必須下載數據,運行附加,reupload為了支持命令的數據。這適用於小文件,但隨著文件大小增加迅速成為一個問題。因為DBFS山是司機和工人之間共享節點,從多個節點附加到文件會導致數據損壞。

解決方案

作為一個解決方案,你應該添加本地磁盤,等/ tmp,並將整個文件的操作。

如果需要執行cross-session附加,請聯係您的帳戶團隊討論啟用NFS掛載在你的集群。