顯示廣告
隱藏 ✕
※ 本文為 terievv 轉寄自 ptt.cc 更新時間: 2017-04-05 01:35:00
看板 Gossiping
作者 ALL4927 (喔!是927)
標題 Re: [問卦] 大數據big data是不是過譽了
時間 Wed Apr  5 00:46:21 2017


看到這個小魯也想來分享一下

本魯目前是在某個中型金融保險產業做網站數據分析

雖然美其名是跟big data有點攀上關係

但實際上.....主管根本啥都不懂

往往在做的事都只是在檢視數據,說明一下發生了甚麼事

一年累積的資料量大概也只有1、200萬左右

而且資料準確率還是一個很大的問題,原因就是沒錢很難做好追蹤Q_Q

不過前兩天跟一位在歐洲工作的親戚聊了一下

他在歐洲也是做數據分析,聽他分享的數據量才見識到甚麼叫做"大"數據

基本上一次要分析的量起跳都是百萬為單位,一兩千萬的量也是很常見

而每一筆資料都還帶有2、300個欄位值

所以每次要計算跟分析資料其實都需要靠外部資源來處理

最常見的就是把資料全部先丟到AWS,再用AWS的伺服器做處理

不然一般公司也不見得養得起這種規模的硬體設備

至於工作內容其實挺無趣的(據他自己所說啦XD)

無非就是針對巨量資料做處理,從裡面找出一些趨勢來建模型做預估

之後就是針對這個模型不停地去做優化

往往從開始分析到模型出來再開始優化大概就是半年的時間

之後....就每天爽爽做自己的事等著被挖腳XD

他是認為難的都是在一開始寫演算法,後面優化部分其實只是修改不難

畢竟如果一開始就做錯接下來什麼都不用玩了

看他LinkedIn上面資料,基本上每個工作大概都是做不到一年就被挖走

從有線電視、線上購物到博弈公司,每個產業跳來跳去

所以big data不是只適用在特定產業,只要有好好收集數據都很有潛力

而他自己是認為big data的精隨是在於"預測"

那些拿過去資料整理得很精美的報表說穿了都是垃圾

重點是在於你怎麼用這些資料來建立模型並提高準確度來預測接下來會發生什麼事

那些政府統計報表就別出來給人家笑了

而薪水部分,這類型的職缺基本起跳大概是5、6萬歐元,之後做得好被挖腳就很難說了

像他被挖四、五次了,薪水應該是爆炸高(但我也不好意思問人家年收入多少就是了)

至於前面有人回文說文組還有機會我覺得有點在誤導

我這位親戚從大學到博士都是跟統計領域相關,這塊說起來其實還是偏向理組

而且到後面做建模跟分析都要用到大量數學公式

一般文組的科系要碰到的機會真的不多

以上大概就是最近跟他聊天的一些心得八卦分享

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.231.28.156
※ 文章代碼(AID): #1OuytYKk (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1491324386.A.52E.html
a000000000: 你的意思是哈哈文組哈哈   這樣嗎?1F 04/05 00:49
majorleague1: 文組甚麼都不會然後當主管比你高薪這樣嗎2F 04/05 00:50
其實不是說文組什麼都不會要去吃屎
但如果一個文組出來的學生可以對程式設計有一些基本的概念真的比較吃香
至於主管比我高薪....
如果把個人接案的收入算進去的話就......
※ 編輯: ALL4927 (61.231.28.156), 04/05/2017 00:57:08

--
※ 看板: terievv 文章推薦值: 0 目前人氣: 0 累積人氣: 157 
分享網址: 複製 已複製
r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇