大數據分析
數據和大數據分析的區別
之前的發明Hadoop、技術支撐現代存儲和計算係統相對基礎,限製公司主要分析“小數據。”Even this relatively basic form of analytics could be difficult, though, especially the integration of new data sources. With traditional data analytics, which relies on the use of relational databases (like SQL databases), made up of tables of structured data, every byte of raw data needs to be formatted in a specific way before it can be ingested into the database for analysis. This often lengthy process, commonly known as提取、轉換、加載(ETL)需要為每個新數據源。這3部分的過程和方法的主要問題是它令人難以置信的時間和勞動密集型的,有時需要18個月數據科學家和工程師來實現或改變。
什麼是大數據分析?
大數據分析是經常檢查大型複雜的過程和不同的數據集或大數據,生成的各種來源,如電子商務、移動設備、社交媒體和互聯網的事情(物聯網)。它包括整合不同數據源,將非結構化數據轉換為結構化數據和生成的見解從數據使用專門的工具和技術,分散在整個網絡數據處理。存在的數字數據量增長速度快,每兩年增加一倍。大數據分析的解決方案,是一種不同的方法來管理和分析所有這些數據源。而傳統數據分析一般仍然適用的原則,大數據分析的規模和複雜性要求開發新的方法來存儲和處理海量結構化和非結構化數據。更快的速度和更大的存儲容量的需求創造了一個真空技術,很快就由新存儲方法,如數據倉庫和數據的湖泊,像NoSQL和非關係數據庫,以及數據處理和數據管理技術和框架,例如開源Apache Hadoop,火花,蜂巢。大數據分析利用先進的分析技術來分析非常大的數據集,包括結構化、半結構化和非結構化數據,從各種來源,不同大小的tb字節。
最常見的數據類型涉及大數據分析包括:
- 網絡數據。客戶級別等網絡行為數據訪問、頁麵瀏覽量,搜索、購買等。
- 文本數據。文本生成的數據來源包括電子郵件、新聞文章、Facebook feed, Word文檔,和更多的是最大的和最廣泛使用的類型的非結構化數據。
- 時間和地點,或地理空間數據。GPS和手機,以及wi - fi連接,使時間和位置信息越來越多的有趣的數據來源。這還可以包括地理數據相關道路、建築物、湖泊、地址、人,工作場所,和運輸路線,從地理信息係統已經生成。
- 實時媒體。實時數據來源可以包括實時流或基於事件的數據。
- 智能電網和傳感器數據。傳感器數據從汽車、石油管道、風力渦輪機和其他傳感器通常是收集以極高的頻率。
- 社會網絡數據。非結構化文本(評論、喜歡等)從社交網站如Facebook, LinkedIn, Instagram等正在增長。甚至可以做關聯分析發現給定用戶的網絡。
- 關聯數據:這種類型的數據收集使用標準Web技術像HTTP, RDF, SPARQL, url。
- 網絡數據。相關數據非常大的社交網絡,Facebook和Twitter等,或技術網絡,如互聯網,電話和交通網絡。
大數據分析可以幫助組織利用他們的數據和使用先進的數據科學技術和方法,如自然語言處理、深度學習,機器學習,發現隱藏模式,未知的相關性,市場趨勢和客戶偏好,確定新的機遇和做出更明智的業務決策。
使用大數據分析的優點包括:
- 降低成本。雲計算和存儲技術,比如Amazon Web Services (AWS)和微軟Azure,以及Apache Hadoop,火花,蜂巢可以幫助公司減少費用時存儲和處理大型數據集。
- 改進的決策。火花的速度和內存分析,結合快速分析數據的新來源的能力,企業可以產生直接的和可操作的見解需要實時做出決策。
- 新產品和服務。大數據分析工具的幫助下,企業可以更精確地分析客戶的需求,使其更容易給了顧客他們想要的東西的產品和服務。beplay体育app下载地址
- 欺詐檢測。大數據分析也用於防止欺詐,主要在金融服務行業,但獲得的重要性和使用所有垂直。