独家!大数据时代最需要什么样的人才?

6月4日,由光环国际主办的“首届大数据科技创新与人才发展论坛”,在北京中关村软件园成功举办。中关村软件园董事长兼总经理刘克峰先生为本次论坛致辞。
在本次论坛中,四位主讲嘉宾分别从“大数据创新与实践”、“大数据核心技术”、“大数据产业应用”以及“大数据人才培养”四个不同的角度,深刻剖析了中美两国大数据的产业应用及创新实践,多维度展望了大数据产业势不可挡的发展趋势。

小编也有幸参与了本次大会,并为大家整理出了来自光环国际董事长张泽晖的发言。没有机会到场的朋友们,一起先睹为快吧!
大数据时代的腾飞是有目共睹的,可以说我们如今正处在风口上,物联网的风口、有工业4.0风口、人工智能的风口,然而事实上,现在最大的风口是大数据的风口。

谷歌与雅虎 —— 大数据的起源

简单来说,大数据就是传统数据软件无法处理的数据。有很多人认为大数据就是“特别大的数据”,其实大只是一个方面,更重要的是数据比以前更加多元化,流转速度更快,而且价值密度相对更低。如果把大数据想象成各种各样的东西摆在一起的垃圾场,那么在垃圾场里面怎样找到宝物,这就是一个很大的问题。
大数据时代的奠基者实际上要是谷歌和雅虎。曾几何时,雅虎是互联网的代表,雅虎一开始也是做搜索引擎的,但是雅虎提高搜索效率的方式是搭配更高配置的电脑、更高配置的系统。
而谷歌一开始也是从车库起家,两个创始人发现,通过软件、通过分布式计算系统,在降低系统配置的同时又极大程度地提高了运算效率,能够实现比传统的搜索引擎要快的项目。实际上,谷歌数据中心的电脑可能比公司前台用的电脑配置还低。
在创立初期,谷歌的两个创始人曾找到雅虎,提出要把谷歌用100万的价格卖掉。然而当时的雅虎是断然拒绝的。在2000年前后,谷歌的发展进入佳境,这时雅虎反过来希望以10亿美金对谷歌进行收购,这个价格后来被谈到30亿美金,谷歌的创始人却拒绝收购。短短3、4年时间,公司的价值从100万美金变成超过30亿美金,只有在IT行业、软件这样的行业才能有如此增长。
在2004年,雅虎已经意识到巨大的危机,随着这段时期谷歌发布了两大著名传奇论文GFS和Mapreduce,雅虎也希望有一个能与谷歌竞争的技术。于是在2007年的1月28号,Doug Cutting进入到了雅虎公司,带领一个100多人的工程师团队来完善hadoop。雅虎和谷歌的搜索之争,直接催生了hadoop。hadoop诞生在塔克的厨房,其规模化的应用是在雅虎。不过这个时候,雅虎已经错过了机会,无论怎样也无法迎头赶上了。可以说,谷歌是从整个系统层面将雅虎打败的。
通过谷歌和雅虎的搜索引擎之争,我们可以看到,大数据的人才是非常重要的。那么大数据最缺什么样的人才呢?

大数据人才缺口与培养

大数据人才可以分为三个层面:技术层面、业务层面和创新层面。

技术层面

实际上,当前主流的大数据人才是大数据开发程序员、软件工程师。
大数据开发工程师是目前最紧缺的人才。大数据要在一个全新的平台上进行很多开发,由于传统架构与分布式计算架构完全不一样,开发工程师要学习大量新的理念。
现在在开源环境里,有各种各样的免费软件工具,做什么事情有对应的工具。在大数据环境下,其实你不需要再去写几千几万行代码,有时候几十行、上百行、最多几百行的代码就可以了。但前提是,你需要熟悉不同的、新的开源软件,熟悉各类行业的场景,这就给IT从业人提出了全新的挑战。
大数据运维工程师可以说是次紧缺的人才。以前我们是运维在oracle、ADM系统上,现在要迁移到hadoop体系。现在的计算中心和以往的有很大区别,现在是采用云计算的方式来做新的架构。大数据时代的运维工程师也可以被称作是大数据管理员,也是一个非常重要的岗位。
很多人认为大数据时代,最紧俏的是数据分析师。事实上,数据分析师确实是一个明星职业,但并不是最紧缺的。这是因为数据分析在过去的十年已经产生了大量人才,将这些人才平移到大数据是相对比较容易的。只是以前面对的是传统数据,而现在是大数据,工作平台变了,方式方法还是一样的。现在也可以看到,数据分析师在人才市场上尚未有爆炸式的增长,但也在迅速增长之中。我们还能够发现一些数学、统计学、经济学教育背景的人也正在转向这个领域,应该说数据分析师是未来的黄金职位。
此外,数据仓库工程师也非常紧俏。很多企业对于大数据应用都是从数据仓库的迁移开始的,所以现在数据仓库工程师在掌握一定大数据知识,将自己锻炼成一个大数据数据仓库工程师也是一个趋势。

业务层面

所谓业务其实也就是用大数据来做什么。在运用大数据方面的鼻祖公司是亚马逊,它首先在全球范围内应用大数据来做用户画像,进而做精准推荐,极大地提升客户体验。现在阿里巴巴和京东也在大量运用大数据做数据分析、数据挖掘、智能推荐系统。原来我们总是说电商公司没技术,搜索公司才有技术,事实上自从出现了hadoop系统,这种定式早已被打破了。
大数据时代的一个非常重要的岗位是大数据项目经理。现在在很多企业里,大数据是一个项目,但往往就是几个数据分析、几个器材设备组合起来,其实完全不是这样的。大数据是迁移各个方面的应用场景的汇集,而幕后最大的推动力就是项目经理。在很多企业不知道如何推动大数据经济核心的时候,项目经理的眼光就非常重要。大数据项目经理需要了解一部分大数据知识,了解跨行业、跨部门的数据,更重要的是了解趋势,懂得带团队。
在大数据时代,还会需要大数据科学家和大数据产品经理。大数据科学家可以说是大数据通才,是一个非常高端的职业。另外也非常需要产品经理,通过大数据产品来满足各个行业的需求。未来的移动互联网产品都应该带有大数据分析的功能,所以说未来的产品经理也必须要懂大数据。

创新层面

欧盟曾发表预测过直到2020年的数据呈现领域,并提出可以产生3300亿的收入,说明大数据是一个非常大的市场。大数据在工业等领域也可以有很多崭新的应用,大家的想象力有多大,未来的大数据就有多大的功能。大数据引发深度学习,深度学习引发人工智能,人工智能又革新机器人科学……可以说大数据真正的开启了智慧时代,未来的五年、十年,难以想象大数据会改变我们多少。
现在我们可能感到大数据很遥远,实际上用户在互联网上的所有行为都被记录下来,大数据是天天跟人们在一起的。美剧“纸牌屋”之所以受欢迎,也是得益于大数据的运用,通过大数据捕捉到了最符合网民心意的剧情。请到最受网民欢迎的演员,可以说从一开始就赢在了起跑线上。
另一个典型的例子就是亚马逊和华盛顿邮报。贝索斯在三年前收购华盛顿邮报时曾说过,他绝对不参与新闻编辑的任何事情,他所做的是依靠大数据来分析读者的口味,记录每一个读者的使用动作,对不同的读者进行测试,将华盛顿邮报变为了一家媒体技术公司。你会发现在现代,技术创新是企业的终极驱动力。

大数据带来的变革与行业洗牌

当年雅虎的市值曾高达1000亿美金,那么多人都认为它是技术公司,雅虎却依旧把自己看作一个媒体公司。今天我们也能看到,有大量的公司,比如以前的新浪、搜狐,他们也将自己定位为互联网的媒体公司,技术上没赶上潮流,逐渐被IT时代所淘汰。这是非常有意思的现象。IT媒体导向型公司却忘了它的出现是受益于技术创新。
反而是像顺丰这样的公司,却没有把自己看作一个快递公司,据了解,顺丰的IT研发团队有两千多人,创始人王卫就认为顺丰本质上是一个IT公司、大数据公司。
大数据时代下,很多公司都在进行革新。IBM也砍掉无数人,把自己看作一个人工智能的公司进行自我革命。这种变革必然会产生IT行业的洗牌,原先旧的技术人才可能在未来的几年里逐渐跟不上时代。
中国与美国对于整个大数据人才的需求量都非常巨大,然而真正有成熟经验的人才相当少,这个对于传统的IT人是一个“弯道超车”的机会。实际上,我相信中国同样也可以通过“弯道超车”与美国硅谷成为双雄。大数据技术发展速度非常快,可能未来还有会有更先进、更好用的框架。IT人善于快速学习,我们也能够不断提升自己,成为大数据领域的专家。

独家!大数据时代最需要什么样的人才?

6月4日,由光环国际主办的“首届大数据科技创新与人才发展论坛”,在北京中关村软件园成功举办。中关村软件园董事长兼总经理刘克峰先生为本次论坛致辞。
在本次论坛中,四位主讲嘉宾分别从“大数据创新与实践”、“大数据核心技术”、“大数据产业应用”以及“大数据人才培养”四个不同的角度,深刻剖析了中美两国大数据的产业应用及创新实践,多维度展望了大数据产业势不可挡的发展趋势。

小编也有幸参与了本次大会,并为大家整理出了来自光环国际董事长张泽晖的发言。没有机会到场的朋友们,一起先睹为快吧!
大数据时代的腾飞是有目共睹的,可以说我们如今正处在风口上,物联网的风口、有工业4.0风口、人工智能的风口,然而事实上,现在最大的风口是大数据的风口。

谷歌与雅虎 —— 大数据的起源

简单来说,大数据就是传统数据软件无法处理的数据。有很多人认为大数据就是“特别大的数据”,其实大只是一个方面,更重要的是数据比以前更加多元化,流转速度更快,而且价值密度相对更低。如果把大数据想象成各种各样的东西摆在一起的垃圾场,那么在垃圾场里面怎样找到宝物,这就是一个很大的问题。
大数据时代的奠基者实际上要是谷歌和雅虎。曾几何时,雅虎是互联网的代表,雅虎一开始也是做搜索引擎的,但是雅虎提高搜索效率的方式是搭配更高配置的电脑、更高配置的系统。
而谷歌一开始也是从车库起家,两个创始人发现,通过软件、通过分布式计算系统,在降低系统配置的同时又极大程度地提高了运算效率,能够实现比传统的搜索引擎要快的项目。实际上,谷歌数据中心的电脑可能比公司前台用的电脑配置还低。
在创立初期,谷歌的两个创始人曾找到雅虎,提出要把谷歌用100万的价格卖掉。然而当时的雅虎是断然拒绝的。在2000年前后,谷歌的发展进入佳境,这时雅虎反过来希望以10亿美金对谷歌进行收购,这个价格后来被谈到30亿美金,谷歌的创始人却拒绝收购。短短3、4年时间,公司的价值从100万美金变成超过30亿美金,只有在IT行业、软件这样的行业才能有如此增长。
在2004年,雅虎已经意识到巨大的危机,随着这段时期谷歌发布了两大著名传奇论文GFS和Mapreduce,雅虎也希望有一个能与谷歌竞争的技术。于是在2007年的1月28号,Doug Cutting进入到了雅虎公司,带领一个100多人的工程师团队来完善hadoop。雅虎和谷歌的搜索之争,直接催生了hadoop。hadoop诞生在塔克的厨房,其规模化的应用是在雅虎。不过这个时候,雅虎已经错过了机会,无论怎样也无法迎头赶上了。可以说,谷歌是从整个系统层面将雅虎打败的。
通过谷歌和雅虎的搜索引擎之争,我们可以看到,大数据的人才是非常重要的。那么大数据最缺什么样的人才呢?

大数据人才缺口与培养

大数据人才可以分为三个层面:技术层面、业务层面和创新层面。

技术层面

实际上,当前主流的大数据人才是大数据开发程序员、软件工程师。
大数据开发工程师是目前最紧缺的人才。大数据要在一个全新的平台上进行很多开发,由于传统架构与分布式计算架构完全不一样,开发工程师要学习大量新的理念。
现在在开源环境里,有各种各样的免费软件工具,做什么事情有对应的工具。在大数据环境下,其实你不需要再去写几千几万行代码,有时候几十行、上百行、最多几百行的代码就可以了。但前提是,你需要熟悉不同的、新的开源软件,熟悉各类行业的场景,这就给IT从业人提出了全新的挑战。
大数据运维工程师可以说是次紧缺的人才。以前我们是运维在oracle、ADM系统上,现在要迁移到hadoop体系。现在的计算中心和以往的有很大区别,现在是采用云计算的方式来做新的架构。大数据时代的运维工程师也可以被称作是大数据管理员,也是一个非常重要的岗位。
很多人认为大数据时代,最紧俏的是数据分析师。事实上,数据分析师确实是一个明星职业,但并不是最紧缺的。这是因为数据分析在过去的十年已经产生了大量人才,将这些人才平移到大数据是相对比较容易的。只是以前面对的是传统数据,而现在是大数据,工作平台变了,方式方法还是一样的。现在也可以看到,数据分析师在人才市场上尚未有爆炸式的增长,但也在迅速增长之中。我们还能够发现一些数学、统计学、经济学教育背景的人也正在转向这个领域,应该说数据分析师是未来的黄金职位。
此外,数据仓库工程师也非常紧俏。很多企业对于大数据应用都是从数据仓库的迁移开始的,所以现在数据仓库工程师在掌握一定大数据知识,将自己锻炼成一个大数据数据仓库工程师也是一个趋势。

业务层面

所谓业务其实也就是用大数据来做什么。在运用大数据方面的鼻祖公司是亚马逊,它首先在全球范围内应用大数据来做用户画像,进而做精准推荐,极大地提升客户体验。现在阿里巴巴和京东也在大量运用大数据做数据分析、数据挖掘、智能推荐系统。原来我们总是说电商公司没技术,搜索公司才有技术,事实上自从出现了hadoop系统,这种定式早已被打破了。
大数据时代的一个非常重要的岗位是大数据项目经理。现在在很多企业里,大数据是一个项目,但往往就是几个数据分析、几个器材设备组合起来,其实完全不是这样的。大数据是迁移各个方面的应用场景的汇集,而幕后最大的推动力就是项目经理。在很多企业不知道如何推动大数据经济核心的时候,项目经理的眼光就非常重要。大数据项目经理需要了解一部分大数据知识,了解跨行业、跨部门的数据,更重要的是了解趋势,懂得带团队。
在大数据时代,还会需要大数据科学家和大数据产品经理。大数据科学家可以说是大数据通才,是一个非常高端的职业。另外也非常需要产品经理,通过大数据产品来满足各个行业的需求。未来的移动互联网产品都应该带有大数据分析的功能,所以说未来的产品经理也必须要懂大数据。

创新层面

欧盟曾发表预测过直到2020年的数据呈现领域,并提出可以产生3300亿的收入,说明大数据是一个非常大的市场。大数据在工业等领域也可以有很多崭新的应用,大家的想象力有多大,未来的大数据就有多大的功能。大数据引发深度学习,深度学习引发人工智能,人工智能又革新机器人科学……可以说大数据真正的开启了智慧时代,未来的五年、十年,难以想象大数据会改变我们多少。
现在我们可能感到大数据很遥远,实际上用户在互联网上的所有行为都被记录下来,大数据是天天跟人们在一起的。美剧“纸牌屋”之所以受欢迎,也是得益于大数据的运用,通过大数据捕捉到了最符合网民心意的剧情。请到最受网民欢迎的演员,可以说从一开始就赢在了起跑线上。
另一个典型的例子就是亚马逊和华盛顿邮报。贝索斯在三年前收购华盛顿邮报时曾说过,他绝对不参与新闻编辑的任何事情,他所做的是依靠大数据来分析读者的口味,记录每一个读者的使用动作,对不同的读者进行测试,将华盛顿邮报变为了一家媒体技术公司。你会发现在现代,技术创新是企业的终极驱动力。

大数据带来的变革与行业洗牌

当年雅虎的市值曾高达1000亿美金,那么多人都认为它是技术公司,雅虎却依旧把自己看作一个媒体公司。今天我们也能看到,有大量的公司,比如以前的新浪、搜狐,他们也将自己定位为互联网的媒体公司,技术上没赶上潮流,逐渐被IT时代所淘汰。这是非常有意思的现象。IT媒体导向型公司却忘了它的出现是受益于技术创新。
反而是像顺丰这样的公司,却没有把自己看作一个快递公司,据了解,顺丰的IT研发团队有两千多人,创始人王卫就认为顺丰本质上是一个IT公司、大数据公司。
大数据时代下,很多公司都在进行革新。IBM也砍掉无数人,把自己看作一个人工智能的公司进行自我革命。这种变革必然会产生IT行业的洗牌,原先旧的技术人才可能在未来的几年里逐渐跟不上时代。
中国与美国对于整个大数据人才的需求量都非常巨大,然而真正有成熟经验的人才相当少,这个对于传统的IT人是一个“弯道超车”的机会。实际上,我相信中国同样也可以通过“弯道超车”与美国硅谷成为双雄。大数据技术发展速度非常快,可能未来还有会有更先进、更好用的框架。IT人善于快速学习,我们也能够不断提升自己,成为大数据领域的专家。