从大的岗位划分上来看,当前大数据岗位可以分为开发岗、算法岗(数据分析)、运维岗等,开发岗的任务涉及到两大方面,其一是完成业务实现,其二是完成数据生产,目前很多传统软件开发任务正在逐渐向大数据开发过渡,这也导致当前大数据开发岗的人才需求量更大一些。从事大数据开发岗,还需要重点学习云计算相关的知识,尤其是PaaS。
算法岗与场景也有非常紧密的联系,但是由于算法岗对于从业者的要求比较高,所以要想从事算法岗往往需要较高的学历做支撑。由于算法岗的岗位附加值比较高,所以很多研究生,包括博士研究生都比较热衷于算法岗,这导致算法岗的竞争非常激烈。另外,当前由于人工智能技术的落地应用依然存在一定的瓶颈,所以算法岗目前也有所降温。
大数据运维岗的人才需求量也相对比较大,大数据运维岗的覆盖面也非常广,数据采集、管理、存储、安全、大数据平台搭建等内容都可以归类到大数据运维岗,而且从事运维岗位还需要掌握大量的网络知识和服务器知识。
1、大数据开发工程师
大数据开发工程师,很多公司都在招聘的热门技术人才,工资也是相对于其他方向更高一些。想要成为大数据开发工程师需要掌握计算机技术、hadoop 、spark、storm开发、hive 数据库、Linux 操作系统等知识,具备分布式存储、分布式计算框架等技术。
2、大数据分析师
大数据分析师是数据师的一种,指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
作为一名数据分析师、至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。总之,一个优秀的数据分析师,应该业务、管理、分析、工具、设计都不落下。
3、数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,基本的比如线性代数、高等代数、凸优化、概率论等。
经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。
4、大数据可视化工程师
随着大数据在人们工作及日常生活中的应用,大数据可视化也改变着人类的对信息的阅读和理解方式。从百度迁徙到谷歌流感趋势,再到阿里云推出县域经济可视化产品,大数据技术和大数据可视化都是幕后的英雄。