当前位置:   article > 正文

最全真实大数据简历模版(二)【大数据-3年经验】金融_大数据 简历_大数据开发简历博客园

大数据开发简历博客园

8.掌握Zookeeper的选举机制及其分布式版本控制,通知机制。
9.熟悉Java,Scala面向函数式编程,能够用Java,Scala进行Spark框架业务开发。
10.对Flink,FlinkCEP,FlinkSQL有一定了解。
11. 了解数据挖掘中K-means、线性回归、朴素贝叶斯、决策树等部分算法,良好的数学基础和逻辑概念。
12.具有良好的代码编写习惯和文档操作能力;

项目一
项目名称: 友金所APP个性化理财服务推荐2018.09—2019.07
系统架构:HDFS+Sparkstreaming+SparkSql+Redis+Flume+Kafka+Mysql+Zookeeper
项目描述:随着金融行业的井喷式发展,获取信息的方式越来越多,人们从主动获取信息逐渐变成了被动接受信息,信息量也在以几何倍数式爆发增长。为了提高产品服务质量,满足客户的个性化需求,给客户针对性推荐有价值的产品信息,现需将每位客户的需求更加细化、精准化,通过收集用户的信息与浏览行为习惯,为每个用户打上标签构建专属用户画像,针对性匹配金融产品,帮助客户发现真正有帮助,有价值的信息,节省客户的浏览时间,快速了解类似产品和资讯的速度,缩短成交周期。
主要职责:
1.通过定制好的web端添加标签信息到MySQL中。
2.从HBase中获取到用户数据信息,与MySQL中标签数据进行匹配,分析业务需要的指标,从上网行为、关注的产品类型、用户投资借贷等不同维度进行维度聚合,统计信息的各项指标;
3.用SparkSql进行分析数据,分析用户日志添加标签构建用户画像;
4.根据MySQL中的标签库给不同用户添加标签VIP等级、消费等级、风险等级、收益幅度、投保时长等;
5.通过构建匹配、统计、挖掘模型,把用户的学历、职业、商圈、消费能力、商品偏好、房产、车产等用户属性与标签进行合并,最终产生的用户标签数据,保存到Hbase中;

项目二
项目名称:学堂在线APP实时课程资源推送 2017.09—2018.07
系统架构:Flume+ Hadoop+ Hive+ Kafka+SparkStreaming +HBase+Azkaba
项目描述:
在移动互联网的发展下,教育不仅仅局限于课堂之上,在慕课的发展思潮下,国内也开始了慕课的发展黄金期,与移动互联网的发展相结合,学堂在线是将各个名校的课程资源发布到网上,可以让师生进行实时地互动答疑,学生可以根据自己的所学的专业,进行线上的学习,然后进行提价作业,老师既可以在线进行解答批改,也可以离线进行批阅。
主要职责:
1.用SparkStreaming从Kafka获取到用户正在观看的课程视频,对该视频所属课程、院校、名师、在线时长等信息进行分析处理,将这些字段存储到MySQL中,实时给用户推送同类型的不同院校和不同老师的课程资源信息。
2.实时监控学生的作业的提交情况,对于师生实时互动的课程,在学生提交作业的同时,便发送相关提醒给老师,由老师决定立刻进行批改,还是课程结束后进行批改。
3.直播课程,Flume采集到日志数据,对接到Kafka ,用SparkStreaming统计得出到当前学生在线人数,提问人数,来自哪些地区等一些字段,存入到MySQL中,前端进行调用展示到页面上。
4. 学生在完成阶段性学习之后,用SparkSql从Hive中的学习情况统计表中找到完成学习课程这一字段为1的学生抽取出来,存入到Hbase中,对应地从Hbase的题库中找到相关课程的试题,将这些试题推送给学生。

项目三

项目名称:牛影视在线电影网日志数据分析 2017.01—2017.06
系统架构:Flume+ Hadoop+ Hive+ SparkSql + Sqoop+MySQL+Azkaba+Kylin
项目描述:该项目是为电影网站进行收视统计,在用户观看的各类电视剧、电影节目中为了便于我们掌握用户哪个电视剧与电影更受观众欢迎,我们可以通过一些用户的观看情况进行监测,求出各类热门的电视剧与电影,实时的统计每天在线的人数。
主要职责:
1.用Flume从从日志系统中采集到用户的日志,清洗存入到Hdfs和Hive进行整合;
2. 负责参与网站指标离线统计分析:1)每天在线的用户数;2)统计出当天的电影播放的TOP-N;3)访问网站的分别来自什么客户端;4)统计出在线观看的电影类型TOP-N;5)统计用户的在线时长
3. 数仓分为三层,ODS的原始数据层,DW层业务数据层,ADS层数据分析层;
4. 使用Spark MLlib的ALS推荐算法分析给用户推荐离线视频;

自我评价

  1. 本人性格开朗、待人热情、真诚;
  2. 工作认真负责,积极主动,纪律性强,工作积极配合;
  3. 勤于思考,热爱学习,逻辑清晰, 善于从多角度分析问题;
  4. 有很强的组织能力和团队协作精神,具有较强的适应能力。

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/612800
推荐阅读
相关标签
  

闽ICP备14008679号