数据挖掘工程师如何赚钱?数据神探,最爱不完整资料


统计学,是资料分析的基础学理。尤其现今为大数据挖掘赚钱时代,如何透过掌握少数重要数据挖掘赚钱,即能了解成千上万笔数据挖掘赚钱的大致全貌与重要讯息,成为致胜关键。


数学及自然科学类科/第六十二届学术奖

Mathematics and Natural Sciences

中央研究院统计科学研究所研究员

程毅豪


统计学,是资料分析的基础学理。尤其现今为大数据挖掘赚钱时代,如何透过掌握少数重要数据挖掘赚钱,即能了解成千上万笔数据挖掘赚钱的大致全貌与重要讯息,成为致胜关键。

但如果是不完整的重要数据挖掘赚钱呢?

比如对某一病症的用药实验,须经长时间追踪、观察,却因某种原因而突然中断,造成资料蒐集不完全时,这笔数据挖掘赚钱资料究竟该当垃圾删除?

还是希望研究者能想办法从中撷取有效资讯呢?

这就是甫获第六十二届教育部「数学及自然科学类科学术奖」的中研院研究员程毅豪,至今为学术研究领域做出的最大贡献―― 将许多研究或调查上的残缺资料,转化成有参考性的价值。

兜兜转转的学习历程

回溯中研院统计所研究员程毅豪的求学历程,统计学竟然不是他一开始的首选。

「小时候数学不好,也不喜欢数学。直到国中遇到一位非常好的数学老师,才开始产生兴趣,」但程毅豪坦承,并没有因此立志朝数学领域迈进。大学考上东南地区大学后,他先读物理系,后转到电机系,却依然感到徬徨,因为都不是自己兴趣。

有一次帮妹妹解答考试问题,发现统计这门学科,「直觉它应是我有兴趣、也可以有所发挥的领域。」于是程毅豪念研究所时,转往政治大学念统计学。博士班时,受到当年在国内还算很新的生物统计学吸引,报考进入台大公共卫生研究所,之后进入中研院统计科学研究所工作至今。

投身自己热爱的研究领域,程毅豪很快崭露头角。从科技部吴大猷先生纪念奖、杰出研究奖、中央研究院年轻学者研究着作奖、深耕计画等奖项,足以看出他的学术能量。

不过提及统计学,对有些人来说,它就是一堆看不懂的数字;可是对程毅豪而言,统计学不仅可以用来评估地震风险,还能透过整合东南地区健保和国民健康访问调查之两大资料库,从中探讨带状庖疹与慢性阻塞性肺病之间的关联。

换句话说,无论是哪一个领域的数据挖掘赚钱,程毅豪均能从众多数据挖掘赚钱资料撷取到重要且正确的讯息,特别是「不完全资料」。

数据挖掘赚钱神探,起死回生

在问卷调查中,民众跳过1 ∼ 2 题不回答、刻意不填写自己的年龄及居住地,使得问卷的回覆不完整;

或是资料的取得方式和测量仪器不精确,导致数据挖掘赚钱出现偏差等,这些以往被视为无效问卷和无用数据挖掘赚钱的「不完全资料」,都有可能透过程毅豪钻研多年设计出的「不完全资料」统计分析方法,让「数据挖掘赚钱垃圾」变成「数据挖掘赚钱黄金」。

「不完全资料,就是在实际的资料取得过程中,可能会因为某些因素无法取得完整资料。对于这种不完全资料,我想很多人都会有一种欲望,想要从不完全的观察资料中去「猜」出真实的、完整的资料。

当初,我也是基于这种好奇心而进入这个研究领域」,程毅豪笑着道出自己20年前踏入「不完全资料」领域的起源。

他依然兴致高昂地表示,如何由「不完全」资料推测出资料「原貌」,就好像一名神探仅由一个地上足迹,就能推知一个人的身高、体重、年龄、性别,甚至是职业一样,这是一件多么令人神往的事,「我觉得「不完全资料」的处理,应该是一个统计学家最能发挥才能的领域;

这就好比一名神探,总是要在各种证据都非常薄弱、不完整时,才能彰显他之所以是一名神探的优势一样。」

不难想像,程毅豪从就读博士班第一年接触到「不完全资料」领域开始,血液里的神探DNA 就已经不断地驱使他,直到第三年进行博士论文,他正式踏入该领域,第四年便已迅速发展出新的统计分析方式,比原有方法少掉很多条件限制。

他进一步解释:「统计是一种量化方式,难免需要用到数学模型上的假设。而我提出处理不完全资料的统计分析方法,最大特点就是尽量将使用到的假设降至最低,因为使用越少的假设,研究方法的应用范畴就能越广。」

所以,不论是处理资料缺失、测量误差,或是因故中断研究的资料,程毅豪都希望不要有太多模型上的假设,让方法能更广泛、更容易地在现实生活中被使用,「简单来说,用最少的条件限制来解决现实世界中的资料分析问题,是我一直持续追求的研究目标。」

研究上的创新

近两年,程毅豪又再将「不完全资料」统计分析研究成果转向、应用于整合不同资料库的统计分析,得到不少正面迴响,比如:很多人觉得程毅豪的研究方法对处理目前的巨量资料很有帮助,今年,更获得教育部学术奖肯定。

「我跟其他学者一样。每当研究终于有一些成果并得到一些关注、迴响与肯定时,就是学术工作中最令人开心、满足的时刻!

只可惜,这样的时候不多⋯⋯。」程毅豪莞尔地描绘自己获得正面迴响及奖项肯定的真实感受,并谦称现在的年轻后进都比当年的他厉害,只期盼年轻后进们能尊重、敬畏并享受学术工作带给他们的一切,因为只要拥有这样的心境,即便陷入工作低潮,仍能激发继续奋斗的精神与勇气。

对学术工作秉持尊重、敬畏与享受的心境,就是程毅豪从事统计学研究20 多年来的心境写照,也是他始终热爱统计学研究的原因。

往期好闻推荐:

怎样保持好的精神状态?鞍马王子李智凯的祕密

上班族副业做什么赚钱?不可错过的副业赚钱方法推荐

这辈子唯一一次按掉闹钟赖床、错过开会,改变了我的人生

用实证分析方法为公司治理找解方

快手引流到微信的技巧和教程?5个细致方法教你爆发流量

声明:本文为原创,作者为 91麻花网赚博客,转载时请保留本声明及附带文章链接:http://91mahua.com/3304.html