投資分析報(bào)告大數(shù)據(jù)處在青春期
上海天元項(xiàng)目數(shù)據(jù)分析師事務(wù)所有限公司
地址:上海市徐匯區(qū)天鑰橋路329號(hào)B棟9樓
王經(jīng)理:021-24193019
郵箱:2860763820@qq.com
現(xiàn)在的大數(shù)據(jù)(公司)就像一個(gè)懵懵懂懂的青春期少年,充滿活力和想象力,但卻遠(yuǎn)未達(dá)到成熟。它的潛在價(jià)值讓人著迷,但世人依然不知何處才是他將一展身手的舞臺(tái)。
維克托•邁爾•舍恩伯格的《大數(shù)據(jù)時(shí)代》被國(guó)人奉為經(jīng)典,其觀點(diǎn)被反復(fù)引用,出現(xiàn)在各類文章之中,但也引起了不小的爭(zhēng)議。但本文不是對(duì)《大數(shù)據(jù)時(shí)代》的批判,而是從數(shù)據(jù)分析發(fā)展的維度去探討大數(shù)據(jù)的朦朧面目。
大數(shù)據(jù)的興起不過(guò)是最近幾年的事情,大量的案例都與互聯(lián)網(wǎng)科技公司相關(guān),其代表性的軟件和算法都與谷歌和雅虎公司的科技人員密不可分。對(duì)于這些科技人員來(lái)說(shuō),“數(shù)據(jù)”幾乎與”大數(shù)據(jù)“同義,而他們的主要工作就是通過(guò)根據(jù)這些海量的數(shù)據(jù)進(jìn)行“推薦”——即將A匹配給B,如把合適網(wǎng)頁(yè)匹配給關(guān)鍵詞,把特定廣告匹配給特定用戶等等。而要做好匹配,則必須對(duì)于數(shù)據(jù)間的相關(guān)性進(jìn)行研究…… 看過(guò)《大數(shù)據(jù)時(shí)代》的同志們,看到這里有沒(méi)有獲得一些啟發(fā)呢?
為什么除了互聯(lián)網(wǎng)公司外,其他公司都對(duì)“大數(shù)據(jù)”興趣寥寥呢?這是因?yàn)楝F(xiàn)實(shí)中,許多數(shù)重要的數(shù)據(jù)集都是小數(shù)據(jù),比如財(cái)務(wù)數(shù)據(jù),銷售數(shù)據(jù)等等,而擁有大量數(shù)據(jù)的金融和醫(yī)藥行業(yè)本就沒(méi)有停止過(guò)數(shù)據(jù)應(yīng)用。商業(yè)環(huán)境的改變遠(yuǎn)非一朝一夕,如何將大數(shù)據(jù)應(yīng)用到傳統(tǒng)行業(yè)中遠(yuǎn)比買一堆設(shè)備來(lái)存儲(chǔ)個(gè)全數(shù)據(jù)要難得多。
另一方面,大數(shù)據(jù)并不一定更好,濫用大數(shù)據(jù)只會(huì)產(chǎn)生更糟糕的效果,比如只要數(shù)據(jù)量足夠大,任何變量之間總能找到某種相關(guān)性。傳統(tǒng)統(tǒng)計(jì)學(xué)的驚人之處在于你只需要一個(gè)很小的樣本,就能對(duì)總體做出一個(gè)明確的描述。精選一個(gè)合適的樣本很有可能勝過(guò)一個(gè)混亂的大數(shù)據(jù)集所得到的結(jié)果。事實(shí)上,在很多情況中,采集100%的數(shù)據(jù)得到的預(yù)測(cè)模型精度可能就比采集10%的數(shù)據(jù)得到的模型高1%不到。
大數(shù)據(jù)還處于青春期,對(duì)其下定論顯然為時(shí)過(guò)早,但目前的趨勢(shì)表明它與較大規(guī)模的傳統(tǒng)數(shù)據(jù)分析截然不同。傳統(tǒng)的統(tǒng)計(jì)學(xué)和數(shù)據(jù)分析方法是歸納性的——根據(jù)部分對(duì)總體進(jìn)行判斷;從樣本來(lái)估計(jì)總體的范圍;通過(guò)一些觀察來(lái)給整個(gè)系統(tǒng)設(shè)定一種理論。與此相反,大數(shù)據(jù)看起來(lái)關(guān)心的主要是單個(gè)數(shù)據(jù)點(diǎn)。已知某個(gè)特定的用戶喜歡某部特定的電源,那么他還可能喜歡其他哪些電影?這個(gè)問(wèn)題截然不同于問(wèn)哪些電影通常更可能受哪些人喜歡?
正像青春期的少年容易被引入歧途,大數(shù)據(jù)的能力也有可能被不懷好意的人所利用。翻看各種應(yīng)用案例不難發(fā)現(xiàn)大數(shù)據(jù)的主要數(shù)據(jù)來(lái)源是人的行為——從瀏覽了哪些網(wǎng)頁(yè) |
 |
|