盤點:關於大數據的八大觀點

論文類別:計算機論文 > 互聯網研究論文
上傳時間:2016/6/15 12:08:00

  (免費論文下載中心訊)越來越多程序員也湧入大數據行業,但是仔細問一些從業人員什麽是大數據?鮮有人知道?就算知道的,最常引用Victor的4V理論,大量(Volume),快速(Velocity),種類多(Variety),價值(Value),但究竟多大是大?多快是快?幾種算種類多?每個人都有自己的觀點。最核心的問題還不在數量和種類,而是價值(Value)。什麽是大數據的價值?如何體現它的價值?如何衡量它的價格?它能夠變現麽?如何來變現卻是大數據的核心問題。

  做大數據的同學,外面看起來像是紅樓夢的大觀園一樣,外表光鮮亮麗,身在其中的人,才知道各有各的無奈。大數據的處理通常分為,數據收集,數據清洗,數據加工。數據應用,數據可視化。數據收集同學總是抱怨數據源Garbage in, Garbage out的感覺,數據清洗的同學總有沙裏淘金的感覺,數據加工的同學也經常受兩頭氣,相比來說,做數據可視化的同學比較幸運,可以找到很多炫酷的感覺,但有不是大數據的主流技術。最難受的是做大數據應用/變現的同學,不得不靠著忽悠行走江湖。

  觀點一

  大數據的信息熵值低

  1948年,香農提出信息熵的概念,可以用於表述信息的價值,信息熵高的言簡意賅,信息熵低的冗余拖沓。目前,很多大數據的來源都是一些系統的Log,圖片,視頻等。特別是日誌系統數據,數據越來越多,越來越大,其中大部分是固定模板的數據,區分度差,信息量並沒有隨著數據的增加而線性增加。另外舉個例子,之前我們使用膠卷照片的,我們會選擇重要的場景,珍惜每一個照片,設計好角度和光圈,現在有數據相機了,內存近乎無限大了,大家肆無忌憚的自拍,哪怕都是同一個角度,大家照的廢片也是一把一把的。同一類型的數據多了,信息熵也就降低了。

  觀點二

  大數據不是銀彈,而是螞蟻效應

  大數據應用常見,多見於推薦系統,業務流程優化,醫療,性能優化,預測,金融交易等,這些業務在傳統的做法上,已經十分依賴於數據了,雖然以前不叫大數據,但是也都是數據驅動的業務。數據的規模和種類增多,處理方法的增多,會漸漸提高這些應用的精準性,這種提高一定是漸漸的,一點一滴的。也許一天兩天感覺不錯來的,但是經過多年的持續改進,這種效果是顯而易見的。

  舉個例來說,語音識別起始於60年代,基於小型詞匯庫,在90年代,IBM推出的ViaVoice是語音識別的一個裏程碑,基於復雜隱式馬爾科夫模型(HMM)或者神經網絡算法更加成熟,數據也是基於大量的詞匯庫,語料庫。新聞聯播曾經就是ViaVoice中文版本的重要訓練語庫。雖然用了更大的語料庫,效果有改進,但是還無法達到實用的程度。2009年以後,借助於互聯網語料庫的進一步豐富,數據料的增長,遠遠超過算法的改進程度。語音識別在準確性和實用性得到很大的提升,用戶也不斷使用語音識別反饋更多的數據。以至於,谷歌公司人工智能方面的專家彼得·諾維格(Peter Norvig),和他的同事在一篇題為《數據的非理性效果》(The Unreasonable Effectiveness of Data)的文章中寫道,“大數據基礎上的簡單算法比小數據基礎上的復雜算法更加有效。”。大數據正在一步一步的解決一些科技應用難題,例如自動駕駛,人工智能等。

  觀點三

  大數據不解釋因果關系,只關心相關性

  《大數據時代》中定義了大數據的第三個特征,“不是因果關系,而是相關關系”。沃爾瑪通過數據挖掘,發現蛋撻和颶風產品有很多關聯性,並且放在一起銷售提高銷售量。沒有人清楚其中的因果關系,當然,也可能有人牽強的解釋,美國人喜歡颶風時期躲在家裏吃蛋撻,通過數據我們獲得了相關性,但是卻不理解其中因果關系。我突然想起來自於《三體》的降維攻擊:很多時候我們在二維世界的相關性,是無法在二維世界進行解釋因果的,也許只有在三維或者多維世界才能夠解釋因果關系,而這種因果關系無法直接理解,只能進行歸納成相關關系。

  觀點四:

  大數據資源公司最佳變現是被收購,最直接變現渠道是廣告和泛征信

  很多專業大數據服務公司的發展都不走上市之路(註意不包括大數據技術公司),因為他們對於變現的能力和可持續性都有很多顧慮,他們也面臨高風險的用戶隱私挑戰,因此很多大數據資源公司的PR工作,遠遠多於具體落地的數據服務工作。因此,各個專業大數據公司都忙於各種行業洞察報告和排行榜,數據可視化的工作一個比一個炫麗,一個比一個追熱點。談到大數據公司的變現,很多公司會提到“數據服務”,實際上數據服務的市場相對穩定,並沒有因為大數據公司的發展而市場膨脹,因此“數據服務”實際上是一個明顯的“僧多粥少”的狀態,另外老牌的數據公司,例如Nielson等在客戶方便還是有一定的優勢。

  收購成為大數據公司變現最佳方式,2014年Oracle收購BlueKai獲得很多眾互聯網用戶數據,BlueKai的數據來源於和很多小網站進行數據交換和購買,尼爾森公司收購了DMP公司eXelate,eXelate的數據來源各個合作夥伴的數據,它提供了數據共享和交換的平臺,創建DMP支持廣告優化投放。

  既然數據服務不容易攢錢,那麽有沒有靠譜的變現途徑呢?從目前來說,廣告和泛征信是兩個最有效的變現渠道,效果廣告的精確投放,品牌廣告主需要強烈的數據背書,這些都需要數據服務,因此在廣告行業專業的DMP公司,對於程序化交易是必不可少的。另外,就是征信系統,金融的本質是一個套信用系統,這就是為什麽各大互聯網公司都早早進入金融業務。目前很多P2P公司是否能夠生存,主要依據就是風險控制,大數據是重要技術支持,因此很多P2P會采購大量數據資源,加強自己的征信系統。

  觀點五

  大數據是對用戶隱私的汲取

  大數據正在結合智能設備的普及而大力推進,例如攝像頭,手機,智能穿戴設別等。其中,大量用戶隱私數據被收集,例如用戶地址,交易數據,搜索數據,用戶的地理位置信息,用戶的脈搏,聯系人列表等等。這些都是用戶的個人數據,各大數據公司都通過改善服務為借口,獲得用戶的授權,而進行隱私的汲取和偷窺。

  也有一種聲音,這些數據是為了讓你享受更好的服務。這裏面也是很多邏輯問題。首先,服務商提供更好的服務,並不代表可以收集用戶的隱私數據;其次,很多公司不提供不收集用戶隱私數據的服務的選項,這讓很多用戶無法選擇禁止用戶隱私數據收集,這是一種利用市場地位的壟斷和霸王條款;而後,所有數據公司沒有提供數據清理功能,刪除用戶所有的歷史數據。這意味著,你的隱私數據一旦被收集,可以被無限次的無範圍的濫用。

  觀點六:

  用戶數據是無法通過定價而進行交換的

  大數據采集公司,都有數據變現需求。對於數據采集公司來說,雖然能做一些數據分析和預測,但這些分析服務的費用較少(在成為頂級咨詢公司之前),很難持續公司的正常運作,只能繼續燒錢或者被收購。對於數據采集公司來說,很多人認為數據可以在公開公正公平的數據市場中變現,不少市面上的DMP都提供了一些數據交易平臺,希望數據項商品一些安全,公平的交易.

  原因有以下幾個:

  1.大數據的價值無法用價格來衡量:

  2.同一份數據對於不同客戶價值不同,不同拷貝後價值也不同。

  3.數據定價太低,賣方有註水動機;如果定價太高,買家也難以接受,而且數據報價都是暗拍的。

  用戶數據交易是玩火自焚

  在各種大數據的應用中,用戶的個人數據在很多場景中是最有價值的,這些數據一旦流入到市場或者黑市,社會後果將不堪設想,而且數據泄露者還面臨法律風險,因此數據交易無法在公開的數據交易市場進行。一些脫敏技術可以讓數據難以反追查,但是脫敏技術的尺度把握卻是在人的手上,它很容易引入各種法律風險。

  觀點七

  大數據的價值是真水無香

  滿大街唾沫橫飛的大數據,讓人覺得不懂大數據是一種羞恥。最近面試過好些候選人,做沒做過數據都說想做大數據,而且是非大數據/機器學習不做,問他為什麽要做大數據,所有回答都是這是趨勢,不轉型,寧等死,大數據可以挖掘出很多價值,幫助業務增長,這種感覺很好。

  反過頭來,看看工作中搞大數據技術的同學,每天通過腳本處理成千上萬的數據,每天苦逼的處理各個數據格式,數據清洗,數據加工,數據分類/聚類,好不容易生成一些數據洞察結果,也需要用一大堆腳本和數據進行二次驗證,包括精準率/召回率。這是一種苦逼,而且需要自己挖掘樂趣的工作。

  確實,在一種新的數據洞察或大數據應用出來的時候,確實對於產品的提升很有幫助,為了保持保護這種提升,需要不斷的對於數據進行清理,提高及時性,這種數據的維護工作慢慢會變成大數據工作者的很大一部分工作。這個過程有點像,一個系統的完善性維護工作,占了軟件開發的很大一部分工作。這部分數據價值對於產品競爭力的提升也會漸漸平淡,投入產出比越來越低。但是這些完善性維護工作,卻不能停。一旦停止,對於業務會帶來負增長,因此這種維護性的工作會變的越來辛苦。這個時候業務對於數據的以來就像人們對白開水的需求一樣,平時覺得沒有味道,但是缺少的馬上就感到口渴,甚至渴死。

  觀點八

  搞清楚業務之後,再談大數據也不晚

  目前很多行業峰會都沾上“大數據”的光環了,以前的站長大會也變成”自媒體大數據峰會”了,以前的互聯網運營大會也變成”大數據運營峰會”了,以前的軟件研發大會也加入了一個“大數據”分會場了。這是一個大數據唾沫橫飛的世界,一不小心你就參與其中了。

  我參加過幾個大數據會議,有很多人是慕名而來(我自己也是其中之一),努力將自己的工作和大數據掛上鉤,搞數據分析的說自己分析的是大數據,搞技術的說自己運用了大數據技術,搞應用的說自己的大數據驅動的業務。最後,誰也不知道大數據是什麽,好像和數據之間沒有太多本質的區別,只是多了一個“大”字而已。

  我認為,這不是什麽壞事,無論是使用“信息化”,“大數據”,“數據時代”,“數據挖掘”,“認知計算”,“深度學習”等詞語,只要能夠解決業務的問題,推進社會更加美好,就是一份有意義的工作。無論大數據還是小數據,解決業務問題就是好數據。(來源:極客頭條 編選:中國電子商務研究中心)

下载论文

論文《盤點:關於大數據的八大觀點》其它版本

互聯網研究論文服務

網站聲明 | 聯系我們 | 網站地圖 | 論文下載地址 | 代寫論文 | 作者搜索 | 英文版 | 手機版 CopyRight@2008 - 2017 免費論文下載中心 京ICP备17062730号