当前位置:   article > 正文

观点 | 观远数据字节:算法工程师技术路线图_观远数据 周远

观远数据 周远

《观点》是由观远数据倾力打造的一档技术类干货分享专栏,所有内容均来源于观远数据内部员工,旨在为数据分析行业输出指导性的知识体系。

本文来源于观远数据联合创始人兼首席数据科学家字节内部分享。

作者简介-周远(花名:字节)

• 观远数据联合创始人兼首席数据科学家

• 知乎机器学习领域KOL

• 致力于算法前沿技术在泛零售消费领域的应用落地,深度参与主导了多个AI项目在行业头部、世界五百强客户的应用和上线

• 曾多次带领观远AI算法团队斩获智能零售方向的Hackathon冠军

全文共13466字,阅读需要36分钟,建议根据提纲循序渐进,选择性深入阅读。过程中如发现基础部分欠缺,可以再回到前面查漏补缺,迭代前行。 算法工程师技术路线图

1.工程基础

  • 编程语言

  • 操作系统

  • 软件工程

2.算法基础

  • 数据分析

  • 机器学习基础

  • 算法框架

3.算法工程交叉

  • 大规模算法运行

  • MLOps

4.工程深入方向

  • 数据库

  • 云计算

5.算法深入方向

  • AutoML

  • 模型解释

 

工程基础

一、编程语言

1.Python

Python是算法工程师日常工作中最常用的语言,应该作为必须掌握的一门技术。大致的学习路线如下:

  • 学习掌握Python的基本语法,可以通过各类入门教程来看,个人推荐《Learn Python the Hard Way》。

   ✔️自我考核:能够读懂大多数的内部项目及一些开源项目代码的基本模块,例如pandas, sklearn等。

  • 学习Python的编程风格,建议学习观远内部的Python代码规范。

   ✔️自我考核:编写的代码符合编码规范,能够通过各类lint检查。

  • Python进阶,这方面有一本非常著名的书《Fluent Python》,深入介绍了Python内部的很多工作原理,读完之后对于各类疑难问题的理解排查,以及语言高级特性的应用方面会很有帮助。另外动态语言元编程这块,《Ruby元编程》也是一本非常值得推荐的书。

   ✔️自我考核:能够读懂一些复杂的Python项目,例如sqlalchemy中就大量使用了元编程技巧。在实际工程项目中,能够找到一些应用高级技巧的点进行实践,例如基于Cython的性能优化等。

  • 领域应用,Python的应用相当广泛,在各个领域深入下去都有很多可以学习的内容,比如Web开发,爬虫,运维工具,数据处理,机器学习等。这块主要就看大家各自的兴趣来做自由选择了,个人推荐熟悉了解一下Python web开发,测试开发相关的内容,开拓视野。

   ✔️自我考核:以Web开发和测试开发为例,尝试写一个简单的model serving http服务,并编写相应的自动化测试。

 

2.Scala/Java

Java目前是企业级开发中最常用的软件,包括在大数据领域,也是应用最广泛的语言,例如当年的Hadoop生态基本都是基于Java开发的。Scala由于其函数式编程的特性,在做数据处理方面提供了非常方便的API,也因为Spark等项目的火热,形成了一定的流行度。在进行企业级的软件开发,高性能,大规模数据处理等方面,JVM上的这两门语言有很大的实用价值,值得学习。

顺带一提,Scala本身是一门非常有意思的语言,其中函数式编程的思想与设计模式又是非常大的一块内容,对于拓宽视野,陶冶情操都是挺不错的选择。

考虑到算法工程师的工作内容属性,这边给出一个Scala的学习路线:

  • 学习掌握Scala的基本语法,开发环境配置,项目编译运行等基础知识。这里推荐Coursera上Martin Odersky的课程,《快学Scala》或《Programming in Scala》两本书也可以搭配着浏览参考。
     ✔️自我考核:能使用Scala来实现一些简单算法问题,例如DFS/BFS。或者使用Scala来处理一些日常数据工作,例如读取日志文件,提取一些关键信息等。
  • 学习使用Scala来开发Spark应用,推荐edX上的《Big Data Analytics Using Spark》或者Coursera上的《Big Data Analytics with Scala and Spark》,另外有些相关书籍也可以参考,比如《Spark快速大数据分析》等。
    ✔️自我考核:能够使用Spark的Scala API来进行大规模的数据分析及处理,完成lag feature之类的特征工程处理。
  • JVM的原理学习,Scala/Java都是JVM上运行的优秀语言,其背后是一个非常大的生态,包括在Web,Android,数据基础架构等方面有广泛的应用。JVM相比Python虚拟机,发展更加成熟,有一套非常完善的JDK工具链及衍生的各类项目,便于开发者debug,调优应用。这方面推荐学习周志明的《深入理解Java虚拟机》。
    ✔️自我考核:理解JVM GC原理,能通过JDK中相关工具或者优秀的第三方工具如arthas等,排查分析Spark数据应用的资源使用情况,GC profiling,hot method profiling等,进而进行参数优化。

计算机语言理论。Programming Language作为计算机科学的一个重要分支,包含了很多值得深入研究的主题,例如类型论,程序分析,泛型,元编程,DSL,编译原理等。这方面的很多话题,在机器学习方面也有很多实际应用,比如TVM这类工作,涉及到大量编译原理的应用,知乎大佬“蓝色”也作为这个领域的专家在从事深度学习框架相关的工作。llvm, clang作者Chris Lattner也加入Google主导了Swift for Tensorflow等工作。Scala作为一门学术范非常强的语言,拥有极佳的FP,元编程等能力支持,强大的类型系统包括自动推理,泛型等等高级语言特性,相对来说是一门非常“值得”学习的新语言,也是一个进入PL领域深入学习的"gateway drug" :) 对这个方面有兴趣的同学,可以考虑阅读《Scala函数式编程》,《冒号课堂》,以及Coursera上《Programming Languages》也是一门非常好的课程。另外只想做科普级了解的同学,也可以读一读著名的《黑客与画家》感受一下。

 

3.C/C++/Rust

当前流行的算法框架,例如TensorFlow, PyTorch, LightGBM等,底层都是基于C++为主要语言进行实现的。但是C++本身过于复杂,使用场景也比较有限制,建议只需要达到能够读懂一些基础的C++代码逻辑即可。在系统级开发领域,目前有一门新语言逐渐崛起,连续几年被StackOverflow投票评选为程序员最喜爱的语言:Rust。从设计理念和一些业界应用(例如TiKV)来看还是非常不错的,但是我也没有深入学习了解过,就不做具体推荐了。这方面建议的学习内容包括经典的《The C Programming Language》以及Rust官方的:rust-lang/rustlings.

✔️自我考核:能够读懂LightGBM里对于tweedie loss的相关定义代码。

 

二、操作系统

1.基本概念

我们所编写的算法应用,都是通过操作系统的环境运行在物理硬件之上的。在实际运作过程中,会碰到不少相关的问题,例如为什么程序报了资源不足的错误,为什么notebook在浏览器里打不开,为什么进程hang住了没有响应等等,都需要一些操作系统的知识来帮助理解和分析问题,最终排查解决。操作系统涵盖的内容比较多,建议一开始只需要了解一些主要概念(例如硬件结构,CPU调度,进程,线程,内存管理,文件系统,IO,网络等),对于整体图景有一些感觉即可。后续碰到了实际问题,可以再在各个部分深入学习展开。优秀的学习资料也有很多,基本都是大部头,重点推荐《深入理解计算机系统》,《Operating Systems: Three Easy Pieces》,以及《现代操作系统》。

✔️自我考核:能够基本明确运行一个模型训练任务过程中,底层使用到的硬件,操作系统组件,及其交互运作的方式是如何的。

 

2.Linux基

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/691642
推荐阅读
相关标签
  

闽ICP备14008679号