碧居士>時訊>正文

賦能行業數智升級,聯通大數據科技優勢凸顯

2019-08-11 11:52:00 IT産業網 分享

  随着互聯網+、人工智能、雲計算等新技術不斷湧現與成熟,大數據與各行業深度融合,引發了各種變革。引擎服務、電子商務、社交網絡、在線音視頻、地理信息服務等互聯網應用産生了海量數據,企業如何從海量數據中發掘有價值的數據,将數據标準化、平台化、智能化、産品化,最終幫助企業進行正确決策,成為企業大數據落地的重點和難點。

  “在合法合規的前提下,從海量數據中高效的提取數據的應用價值,是大數據落地的關鍵所在。如果數據量很大,但是無法提取出價值,反而是一種負擔。”聯通大數據有限公司數據科學總監陳博表示。“從落地的角度看,我覺得大數據需要與各行業深度融合。同樣的數據可以用于不同的行業,而如何從數據中形成适合某個行業的應用價值,需要對數據的價值維度與行業的應用場景都有非常深入的認知。”陳博補充說。

  集中運維管理,保障應用基礎

  作為通信運營商,中國聯通早在2010年,就提出了數據大集中策略;2012年,開始組建全國數據中心,涵蓋全國所有省份實現了全網數據的統一集中彙聚與管理。目前,聯通大數據公司每天的新增數據量達到150TB以上。

  為了能高效的處理如此海量的數據,聯通大數據目前擁有數千節點的集群,每天要運行10萬個以上的處理任務。運維如此大規模數據集群,在業界也是不多見的,對于聯通大數據來說,并沒有太多可以直接借鑒的外部經驗,靠的就是自身建立的一支高效的集群運維管理團隊,進行長期24小時不間斷的監護、優化。在過去一年中,在日增數據量翻倍、集群資源幾乎沒有擴容的情況下,通過從集群文件碎片、冗餘數據庫表、RPC任務管理等多方面的持續優化,使集群的整體資源負載反而下降了近30%,從而為上層大數據應用提供了堅實的基礎算力保障。

  同時,聯通大數據對所有數據業務的開展都是以完全合法、合規為首要前提,内部有着非常嚴格的安全管理和監控機制,堅持“敏感數據不出門”的原則;對外數據産品與服務更多是基于區域性、群體性的統計分析以及模型加工産生的标簽數據,并且任何數據結果的輸出都需要經過内部安全網關的層層嚴格審核,從而為上層大數據應用提供了可靠的安全合規保障。

  在此過程中,聯通大數據在大規模數據集群運維、海量數據資産管理方面積累了大量的實踐經驗,逐步總結形成了一整套完善的運維管理機制,在6月初的大數據産業峰會上獲得了“2019年星河獎——最佳數據資産管理實踐獎”。

  構建數智能力,釋放應用價值

  面對日增上百TB、總量近百PB的海量數據,如何實現大數據的應用價值,陳博認為“大數據企業首先需要對于自身數據的核心價值維度有明确的認識,進而才能清楚如何建立自身的數據能力體系去釋放數據的應用價值“。圍繞自身的運營商大數據,聯通大數據則定義了行為興趣、位置時序、關系圖譜3大數據價值維度,并相應的構建了3大類數智平台能力體系,這背後則用到了諸多NLP、引擎、時空序列、圖計算等關鍵技術。

聲明:本站部分資源來源于網絡,版權歸原作者或者來源機構所有,如作者或來源機構不同意本站轉載采用,請通知我們,我們将第一時間删除内容。本站刊載文章出于傳遞更多信息之目的,所刊文章觀點僅代表作者本人觀點,并不意味着本站贊同作者觀點或證實其描述,其原創性及對文章内容的真實性、完整性、及時性本站亦不作任何保證或承諾,請讀者僅作參考。
編輯: