YipitData將金融市場信息過載轉化為洞察力

在替代數據中解鎖隱藏的見解

做出明智的投資選擇需要信息。您擁有的可操作信息越多，金融服務機構(fsi)更好地了解其客戶、市場和業務的幾率就會顯著增加。beplay体育app下载地址YipitData致力於為全球最大的對衝基金和企業提供數據驅動的洞察，幫助他們獲得真正的競爭優勢，並為客戶提供更好的服務。beplay体育app下载地址具體來說，他們利用替代數據源和web抓取來幫助銀行機構和資產管理公司通過揭示有關消費者行為的有價值的信息(例如公用事業支付曆史，交易信息)來做出更好的決策，並擴展到各種用例，包括交易分析，信用風險和信用風險環境、社會和治理風險。

“替代數據是我們金融服務客戶成功的關鍵，”YipitData高級軟件工程師Anup Segu解釋道。beplay体育app下载地址“然而，大多數組織都沒有辦法最大限度地利用替代數據。這就是我們提供幫助的地方。”

然而，YipitData團隊麵臨的挑戰不僅是替代數據的數量和多樣性(每個月他們從數百個網站收集數據，發出數十億個請求)，而且他們還受到豎井團隊的限製，無法擴展數據處理和分析。運行查詢和擴展他們以前的數據倉庫證明是具有挑戰性和耗時的。

Segu解釋道:“我們經常遇到性能瓶頸。“非常大的問題可能需要長達6個小時，這減慢了我們回答問題的能力。”

跨團隊的協作也是一個問題，因為他們努力共享學習和代碼。YipitData的數據分析師比爾•門什(Bill Mensch)解釋說:“我們曾與部落知識的孤島作鬥爭，這阻礙了我們擴大規模和快速運營的能力。”

在整個組織中實現數據分析的民主化

借助Databricks, YipitData團隊現在能夠管理從數據攝取到下遊分析的整個數據分析工作流。具有自動伸縮等功能的集成集群管理極大地簡化了基礎設施管理，同時降低了運營成本。Segu解釋說:“由於我們可以獨立管理計算和存儲，Databricks使我們能夠優化集群管理和AWS支出。

Databricks已授權其40多名數據分析師將其角色轉變為混合數據工程師和分析師-使他們能夠獨立創建數據攝取係統，管理ETL工作流，並為客戶提供有意義的金融研究。

Databricks為我們的分析師提供了靈活性，以便他們能夠控製，”YipitData的CTO Steve Pulec解釋道。“因此，數據工程甚至不需要參與，可以專注於更高價值的任務。”

現在他們可以在Databricks筆記本中快速構建和部署健壯的ETL工作流，並利用他們選擇的編程語言(Python或SQL)來探索、可視化和分析他們的數據。

更快的處理和簡化的操作有助於降低成本

使用Databricks最大的收獲是大規模的處理能力，雲平台成本效率的提高，以及數據的民主化。Beplay体育安卓版本有了觸手可及的可擴展雲基礎設施，他們已經能夠將數據管道的速度平均提高90%。在某些情況下，一些過去需要花費6個小時的大型查詢現在可以在大約7秒內完成。

“Databricks讓我們可以毫不費力地以規模換速度，這在以前是不可能的，”YipitData的員工工程師Andrew Gross說。“現在我們能夠用同樣的資源回答更多的問題。”

他們不僅處理更多數據的速度更快，而且處理數據的效率也更高，這有助於推動業務發展。Pulec說:“新冠肺炎在市場上產生了大量問題，我們在分析數據以找到答案方麵已經超速了。”“所有這些額外的工作對我們的收入產生了巨大的影響，並真正幫助我們的業務能夠及時地為投資者回答這些問題。這在舊世界可能是不可能的。”

盡管分析和向客戶報告的規模增加了4-5倍，但Pulec估計整體運營支出已顯著下降。beplay体育app下载地址“Databricks將我們的運營成本降低了近60%，”Pulec說。總的來說，在Databricks的幫助下精明的成本削減技巧在美國，他們能夠將每年的AWS費用削減50%，即250萬美元。

Databricks作為數據分析工作流程的基礎，YipitData正在尋求在整個公司範圍內擴展Databricks的采用-促進更大的透明度和跨團隊協作。展望未來，YipitData將充分利用替代數據的爆炸式增長，為金融服務機構和企業提供新的見解，以做出更明智的業務決策。