普通程序员,如何转为当前紧缺的大数据相关人才?

  • 时间:
  • 浏览:6
  • 来源:uu快3棋牌_uu快3讨论群_规律

那末八个 技术 Leader 不希望本人手下是一班虎将。亲们儿期盼团队中每个工程师不会 能独当一面的全才。

大数据平台/开发工程师

亲们儿并能 把大数据相关工程师能力模型抽象为以下的核心技能金字塔

a. 算法工程师

说到这里,两位 Leader 坦言「当时幸好还不为什么在么在挑简历,是我不好按照已经 的标准不用说能把这位工程师招聘进来。

这最下方的两层构成了八个 工程师人才的基础素养。有已经 底层的基础比较扎实,掌握应用层技能所都要的时间是我不好比亲们儿预想的要少你这人。

有的团队面对的挑战不限于某八个 具体难题,而在于如何将比较复杂的业务逻辑转化为算法、模型难题,从而利用海量数据解决你这人难题。类似于难题不都要工程师在算法上探索得足够深入,有已经 都要足够的广度和交叉技能。亲们儿都要了解常见的机器学习算法,并知晓各种算法的利弊。同去亲们儿也要有好快理解业务的能力,知晓数据的来源、去向和解决的过程,并对数据有淬硬层 的敏感性。类似于工程师的 Title 以「数据挖掘工程师」居多。

互联网行业的快速发展,让不少公司拥有了成千上万的用户数据,各家都想挖掘这座储量雄厚的金矿,由此延伸出数据在自家业务不同应用场景中的巨大价值——京东、淘宝等电商网站利用用户画像做个性化推荐,PayPal、宜信等互联网金融公司通过识别高危行为的特征实施风险控制,滴滴、达达等出行、配送业务利用交易数据进行实时定价从而使利润最大化……

亲们儿在14年招收了一位专科学校毕业的工程师,在上一家公司做过你这人推荐算法,会写 Hadoop Mapreduce,有已经 并那末在大数据上有深入的研究。这位工程师当时的大数据技能不用说能达到 TalkingData 的招聘标准,不过好在他思维清晰,看待难题有本人独特的想法。加之 Java 基础不错,在上一家公司做事情也很扎实,也不就招聘进来了。

类似于团队面对的难题通常是明确而又有更高难度的,比如人脸识别、比如在线支付的风险拦截。你这人难题经过了清晰的定义和淬硬层 的抽象,有并是否是又处在足够的难度,都要工程师在所研究的难题上有足够的专注力,对相关的算法有足够淬硬层 的了解,才并能把模型调到极致,进而解决难题。类似于工程师的 Title 一般是「算法工程师」。

通常比较偏底层基础架构的开发和维护,都要你这人工程师对 Hadoop/Spark 生态有比较清晰的认识,懂分布式集群的开发和维护。熟悉 NoSQL,了解 ETL,了解数据仓库的构建,还有已经 接触机器学习平台等平台搭建。

以格灵深瞳为例,这是一家计算机视觉领域的大数据公司,团队中既都要对算法进行过透彻研究的人才,把图像识别有关算法模型调整到极致,也都要工程实力比较强的人才,将训练好的算法模型在产品中进行高性能的实现,有已经 帮助团队搭建一整套视频图像数据分类整理、标注、机器学习、自动化测试、产品实现的平台。

还有你这人公司,借助大数据相关技术创发明者者新的业务模式——比如利用算法做个性化内容推荐的今日头条、你这人资讯,比如通过监测服务整合海量数据、做数据价值变现的 TalkingData,当然还有你这人底层架构的支持服务商如阿里云、UCloud 也开通了托管集群、机器学习平台等服务。

是我不好,未来你这人技能对于应用程序员而言,就好比现在 MS Office 对于职场人一样普遍。

从各家招聘的工程师来看,与大数据打交道的核心工程师通常分为那末两大类

不过,全才难招,不用说代表 Leader 会放低招聘要求。亲们儿绝不容忍整个团队的战斗力受到影响。面对招聘难题,亲们儿会有你这人对应的土方法——

算法&数据挖掘工程师

对希望转做大数据相关工作的普通工程师,你这人中肯的建议

最后,有已经 你着实对大数据、数据挖掘有浓厚兴趣,最好的土方法是立刻开始英文英文了了实践。是我不好你不用以此为职业,有已经 并能 多一技傍身。

2. 相比于苛求当前技能水平,更看重扎实的基础和成长空间

除了对底层系统有深入了解之外,他现在也在了解机器学习的算法。他带领的小团队中,除了有2名系统工程师之外,还有两名算法工程师,他经常鼓励有并是否是工程师互相学习,同去提高,也不才并能让整个团队带宽最大化。有已经 系统工程师对算法不了解搞笑的话,有已经 也问你为什么在么在去优化算法运行的带宽;算法工程师也应共要了解不同模型在CPU、GPU机器上的运算带宽,帮助本人设计出更高效的算法。

前段时间跟候选人聊天,八个 有多年工作经验的资深 iOS 工程师问你,他最近正在学习 Machine Learning 相关的知识。他着实,对于应用程序员来说,技术进步大大超过世人的想象,有已经 你不跟随时代进步,就会落后于时代。

亲们儿通常利用算法、机器学习等手段,从海量数据中巨棺有价值的信息,有已经 解决业务上的难题。着实技能构成类似于,有已经 在不同团队中,然上端对的业务场景不同,对算法 & 数据挖掘工程师都要的技能有不同侧重点。因而你这人类目下还可细分为八个 子类:

此类工程师的工作重心在于数据的价值挖掘。

应用程序员对你这人技术跃跃欲试,知乎上「淬硬层 学习如何入门?」「普通应用程序员如何向人工智能靠拢?」等难题不会 很高的关注度。亲们儿在招聘市场也并能都看,太少的技术候选人在跳槽不会 思考,并能 从事相关岗位的工作。

当前,也不候选人对大数据相关岗位的青睐不用说偶然

亲们儿的工作重心在于数据的分类分类整理、存储、管理与解决。

对于后者来说,有已经 对核心算法能力要求那末前者那末高,更重视代码能力与业务 sense,因而你这人团队并能 包容背景更雄厚的人才,比如有已经 补充过算法知识的普通工程师,以及在研究生阶段对算法有你这人了解的应届生。

无论何种工程师,雇主都希望人才具备综合素质,而非片面苛求当前的技能水平。不得劲是对于当前市场供给偏少的大数据相关领域,有已经 在大数据、算法方面有所建树的人才毕竟只占少数。具备不错的基础素养,并拥有巨大潜力的工程师也很受企业青睐。你这人工程师并能 利用已有的工程实力完成一帕累托图基础工作,并在经过1-2年的锻炼前一天,接手更比较复杂的难题。

对于前有并是否是工程师,他都要在淬硬层 学习算法甚至于在计算视觉领域不会 太深了入的研究,编程能力并能 稍弱你这人;而对于后有并是否是工程师,有已经 他拥有强悍的工程能力,即使那末在淬硬层 学习算法上进行太深了入研究,也并能 好快接手对应的工作。这有并是否是人才需在工作中进行密切的配合,同去推动公司产品的产出与优化。

让算法在机器上运转得够快,才并能缩短模型迭代的时间,加速模型优化的过程。大帕累托图算法工程师有已经 对此了解甚少,有已经 宋翔并能 充分类分类整理挥本人的特长,利用硬件和底层系统加速机器学习算法。

格灵深瞳技术副总裁 – 邓亚峰提到:

现在在云计算服务商 UCloud 工作的宋翔,过去四五年经常致力于计算机底层系统的研究。在百度,他也不为淬硬层 学习算法提供支持,用硬件和底层系统优化,加快机器学习算法的运算带宽。进入 UCloud 之初,宋翔主要研究的方向也是如何利用 GPU 服务器进行运算加速。

本文作者:50offer

已经 ,考虑到太少企业依赖机器学习进行数据挖掘,UCloud 期望推出八个 兼容主流开源机器学习系统的 Paas,使得使用你这人机器学习平台的工程师并能专注于模型训练有并是否是,而不用考虑模型部署、系统性能、扩展性、计算资源等难题。

宋翔在底层系统优化上的特长刚好并能 在这项工作中发挥,因而他立刻被赋予主导你这人平台搭建的任务。

你这人大数据开发工程师做的工作有已经 也会偏重于应用层,将算法工程师训练好的模型在逻辑应用层进行实现,不过你这人公司会将此类工程师归入软件开发团队而非大数据团队。

嗯,以上也不技术 Leader 心中完美的大数据相关候选人形象。

不曾想到,这位工程师主动性非常强,Leader 只需给到工作方向,他就会驱动本人学习相关知识,快速完成目标。2年前一天,这位工程师的 Spark 能力有已经 锻炼得非常强悍,用 Leader 搞笑的话说「并能 以一当十」;他对大数据、机器学习不会 浓厚的兴趣,Spark 基础夯实前一天,又转岗到了算法工程师团队,写出了 TalkingData 机器学习平台的核心代码,你这人平台大大提高了团队的机器学习带宽。

1. 并能 不求全才,但要求团队成员各有所长,整体可形成配合

前一天提到了,要想为大数据相关岗位找到八个 各方面条件不会 错的人才,难度非常大。因而技术 Leader 会更加务实地去招聘「更适合的人」——针对不同岗位吸收具有不同特长的人才。

对于工程师来说,并能 考虑的大数据相关岗位有你这人?

即使在算法工程师团队内部内部结构,不同成员之间的技能侧重点也有已经 各不相同。

有已经 ,有已经 都以尽善尽美的标准进行招聘搞笑的话,恐怕没哪几个团队并能招到人。现在大数据、数据挖掘火起来有并是否是就没几年,有已经 想招到八个 有多年经验的全才,难度不会 一般的高。在这点上,各位技术 Leader 不会 清晰的认识。

从技术 Leader 对人才的要求看,转岗有已经 在哪里?

赵平是宜信技术研发中心的一位工程师,加入宜信前一天,他曾帮助中国移动机顶盒业务的后端架构进行服务化转型。抱着对基础平台架构的浓厚兴趣,赵平加入了宜信。他在这家公司做的第八个 项目是分布式存储系统的设计和开发。第八个 项目完美收官前一天,他的学习能力、基础能力备受褒奖。当宜信开始英文英文了了组建大数据平台团队时,赵平都看了本人理想的职业发展方向并提交了转岗申请,基于他过往的优异表现,顺利地拿到了你这人工作有已经 。

再上一层的计算机基础 – 基本的算法与数据特征,某一门编程语言的精通,是几乎每个工程师岗位都重视的能力。八个 基础不扎实的应用程序员,有已经 会让企业怀疑其学习能力。扎实的基础,会为应用技能的学习扫除障碍,更容易建立淬硬层 的理解;而数学基础对于算法理解上的帮助十分重要。

来源:51CTO

在看待大数据工程师的招聘上,TalkingData 的技术 VP 闫志涛和首席数据科学家张夏天也提到:

我着实有已经 听过也不人跟是我不好过类似于搞笑的话。只不过不同人嘴里提到的词汇各有不同——大数据、数据挖掘、机器学习、人工智能…… 你这人当前火热的概念各有不同,又有交叉,总前一天会 推动亲们儿掌控好海量数据,并从中提取到有价值信息的技术。

对于期望转岗为大数据相关的普通工程师来说,一旦通过自身擅长的技能切入新团队前一天,不会 了更多横向发展的有已经 ,帮助本人在大数据相关领域建立更强竞争力。

TalkingData 的 两位 Leader 也为我举了八个 自家团队中的例子:

最近,为了了解大数据相关工程师的招聘现状,亲们儿走访了几家紧需大数据相关人才的公司,与亲们儿的技术 Leader 聊了聊相关人才的招聘现状。

在文章的末尾,亲们儿基于文章中提到的多个案例,总结一下帮助普通工程师走向大数据相关岗位的哪几个 tips 吧:

加进去去进去你这人岗位相比于传统的软件工程,有更高的挑战空间和更大的难度,自然引得更多人才进入到你这人领域。

你这人企业整体对大数据、数据挖掘相关人才的需求非常之大,愿因行业内人才的供给相对缺乏。因而薪资通常也相对高你这人。

越是偏金字塔底部的素养,对于企业来说越是重要。最底部的基础素养,代表的是未来的成长空间。当前互联网高速发展,每家企业不会 跑步前进,有已经 八个 当前技能不错的工程师,未来成长空间有限,也有已经 变成企业的负担。

解决器带宽的加快,大规模数据解决技术的日渐心智旺盛期的句子的句子的句子期期期期期期期图片 图片 ,让亲们儿从 Big Data 中快速提取有价值的信息成为有已经 。几十年前神经网络算法被提出之初,捉襟见肘的计算能力好难让你这人计算密集的算法发挥出它应有的作用。而现在,PB 级别的数据也并能 在短时间内完成机器学习的模型训练。这让格灵深瞳、科大讯飞等淬硬层 依赖淬硬层 学习的图像、语音识别公司得以对产品进行快速迭代。

转岗前一天,赵平也遇到了你这人挑战,比如大数据涉及的知识点、都要用到的工具更加雄厚,Spark,Scala,HBase,MongoDB…,数不清的技能都都要边用边学,持续恶补;比如思维土方法上,都要从也不的定时数据解决思维向 Spark 所代表的流式实时解决思维转变。不过基于他扎实的基础,以及前一天做分布式存储系统经验的平滑过渡,加之整个团队中良好技术氛围的协助,最终顺利完成第八个 大数据项目的开发工作。

基础的逻辑、英文等素质是都要的,聪明、学习能力强是未来成长空间的保障,计算机基础都要扎实,最好做过大规模集群的开发和调优,会数据解决,还熟悉聚类、分类、推荐、NLP、神经网络等各种常见算法,有已经 还实现过、优化过上层的数据应用就更好了……

从上端的例子中,亲们儿也并能 额外收获八个 信息,相比于跳槽转岗,内部内部结构转岗会更容易你这人。有已经 在公司内部内部结构中,企业有充分的时间考察工程师的能力、潜力。企业对工程师的认可度提升前一天,才会更加放心的予以新的挑战。

比如个性化内容推荐资讯平台——你这人资讯的算法团队中,一帕累托图工程师会专注于核心算法难题的研究,对解决八个 非常明确的难题(比如通过语义分析进行文章分类的难题,如何判断「标题党」的难题等等),亲们儿都要有足够淬硬层 的了解;另外一帕累托图工程师,则专注于算法模型在产品中的应用,亲们儿应该对业务非常有 sense,具备强悍的分析能力,并能从比较复杂的业务难题中理出头绪,将业务难题抽象为算法难题,并利用共要的模型去解决。两者八个 偏重于核心算法的研究,八个 偏重业务分析与实现,工作中互为补充,同去优化个性化内容推荐的体验。

雇主对大数据相关候选人的经验、背景有更大接受空间,这就给了非大数据相关候选人进入大数据、算法团队的有已经 。此时,梳理清楚本人现有技能对于新团队的价值非常重要,这是促使新团队决定吸收本人的关键。

从 50offer 平台上的数据来看,大数据相关职位的面试邀请占比也与日俱增。

b. 数据挖掘工程师