当前位置:   article > 正文

谈Hadoop平民化(infoq访谈)

hadop三高

原文地址



作者  水羽哲 发布于 2012年11月14日
随着 Hadoop的推出,大数据处理实现了技术上的落地。但是对于一般的公司和开发者而言,Hadoop依旧是一个陌生或者难以使用的技术。这次的阿里云开发者大会上, 向磊凭借EasyHadoop将Hadoop平民化而获得了最佳创意奖,InfoQ对他进行了采访。
InfoQ: 首先请您做下自我介绍并介绍本次的参赛作品EasyHadoop?
向磊:大家好,我是向磊,本次阿里云开发者大赛最佳创意奖作品 EasyHadoopphpHiveAdmin的作者。目前供职于一家互联网视频公司的数据部门,负责整个Hadoop集群的维护和一些数据分析产品的研发工作。
本次参赛的EasyHadoop和phpHiveAdmin是我在业余时间编写的开源软件,其中EasyHadoop是界面化安装部署和管理Hadoop集群用的,phpHiveAdmin是用来管理和查询Hive数据仓库用的。如果打个类比的话,EasyHadoop类似于 Cloudera Manager,phpHiveAdmin类似于HUE里面的 Beeswax。主要是希望能够帮助到一些需要用到Hadoop做数据分析,又苦于Hadoop技术门槛太高的公司能够快速应用Hadoop。
InfoQ: 目前国内公司对Hadoop接受程度是怎样的?
向磊:个人看法吧,国内有一些大的互联网公司比较早就已经开始用Hadoop分析业务数据,但是很多中小企业或者国企央企还是处于观望状态。我觉得主要还是由于Hadoop的技术门槛比较高,推广起来具有一定难度,对中小企业来说,Hadoop的实施成本比较高。然后国企央企可能认为假如自己上了Hadoop,维护和开发将是比较困难的事情。当前Hadoop的人才稀有,所以,国内很多人听说过Hadoop了,但是能够真正下决心在自己企业实施的还是少数。不过总的趋势还是好的,愿意尝试Hadoop的公司和个人越来越多了。主要我觉得是业务压力逼的,传统的关系型数据库做统计分析现在确实有些力不从心了。数据量越来越大,一个group by就内存溢出了。在量变已经无法满足需求的时候,就需要质变了。
InfoQ:Hadoop虽然很火,但是能够操作起来的公司和技术人员却不是很多,那么你认为是什么阻碍了Hadoop的“平民化”?EasyHadoop又是如何帮助开发者来降低门槛的?
向磊:这个就需要说到我在大赛演示的时候说的Hadoop的三高问题(不是血糖高血脂高血压高,哈哈,这三高由我来替大家承担)。
第一是硬件投入高,Hadoop是集群存储和计算,这就意味着无法由一台服务器完成,搭建集群的话,一台高配服务器大概需要2-4万左右。对于中小企业来说,哪怕搭建3-4台集群都是很大的成本压力。不过很高兴这次看到阿里云提供的云主机,可以大幅度降低硬件的成本投入,适合Hadoop用的主机用一年才几千块钱,10台下来一年才几万块钱,这可以说个人都是可以承受的了。
第二是技术门槛高,能够安装部署运维Hadoop集群的人极其稀少,因为分布式计算毕竟需要数台到数十台服务器的协同运作,这时故障就变成常态了。给我很深刻印象的是阿里云的唐洪博士做的报告,单台服务器的硬盘故障率是4%,但是当你是一个集群,有5000台服务器的时候,硬盘故障率就是99.6%了。而且服务器之间网络通信,任务调度都会出问题,这些问题对维护人员来说都提出了相当高的要求。不过,其实最早做EasyHadoop和phpHiveAdmin是为了降低自己工作中的重复劳动,因为Hadoop的集群部署和安装配置乃至使用都是非常繁琐且容易出错的。所以为了省事,写了这样一个东西,从一个安装脚本开始,后来慢慢越写越大。最后整理一下功能就开源出来了。里面把安装脚本都封装起来了,用户不需要关心Hadoop安装的繁琐步骤。只要泡杯茶,点根烟,点点鼠标就好了,运维中的查看日志和重启节点也只需要动动手指就完成了。
第三是开发成本高,每个公司对自己的数据需求都是不同的,而能够开发Map/Reduce程序的人又少又贵,这就造成了大数据分析的人力成本很高。以前淘宝的报告提到,淘宝的数据90%分析是通过Hive仓库完成的,在我目前的公司,可能比例更高,95%是Hive完成的。但是 Hive本身是完全命令行操作的,除了技术人员可能都用不了。于是我就写了phpHiveAdmin用来做Hive数据仓库的管理和查询界面。这样,之前的mysql/oracle管理员可以不用开掉,留下来管理Hive仓库就好了。只要会写SQL就可以做大数据的分析了。并且我想提一个当初开发时候完全意料之外的改变,是管理流程上的变化。之前没有界面化,业务人员需要提交需求给技术人员。由技术人员编写HQL或者Map/Reduce,然后生成报表返回给业务人员,周期慢,中间对技术和业务人员对业务理解有偏差还要重新返工。写了phpHiveAdmin之后,业务人员只要简单培训一下HQL语言,很多数据他们可以自己去数据仓库里查询,而不需要通过技术人员了,节省了管理流程上的时间和成本。数据结果也更加直观。技术人员也能有更多的时间和精力去研发更多更重要的数据内容。这算是phpHiveAdmin为公司节省管理成本和数据研发成本做的一点贡献吧。
所以总结下来,云计算解决硬件成本问题,EasyHadoop解决技术门槛问题,phpHiveAdmin解决开发和管理成本高的问题,开源出来,算是对大家作出一点微不足道的帮助吧。
InfoQ:目前已经进入到了“大数据的时代”,比如王坚博士说阿里云是一家以“数据为中心的云计算服务公司”已经印证了这一点,那么您认为“大数据”带来的机遇和挑战分别是什么?开发者如何应该如何应对?
向磊:王坚博士演讲的时候我在场外展台,没有听到,但是我听说他的演讲中也提到了EasyHadoop,令我感到十分的荣幸。我十分同意王坚博士的观点,阿里系一直以来都是数据推动业务,才能获得今天雄霸整个中国电子商务市场和云计算市场的成就。关于大数据,我个人的看法是,大数据带来的也是大机遇和大挑战,不仅仅是技术层面上的,更是管理者眼界的问题。你打算靠什么来指导你自身的业务发展,是开所谓Brain Storm的拍脑袋会,还是用数据来证明,这是管理者需要改变思路的地方。
而作为开发者,也需要改变一些思维方式,从传统的单机思维,扩展到集群思维,大数据时代需要的是能够提出更快更好更创新的概念并实现。Hadoop和大数据我认为给我的一个启示是,个人英雄主义的单枪匹马作战方式将不再适用。集体和合作的力量将远大于个人的力量,用中国俗话来说,就是“三个臭皮匠,顶个诸葛亮”。对于技术人员来说也是这样,一个人再强也不是强,团队强才是真的强。更多分享和更多交流,是开发者需要加入到自己的时间表里的,而不仅仅是提高自己的技术和算法水平。团队协作不会降低你的社会地位和收入。
InfoQ: 在开发的过程中,你用到了阿里云的哪些服务?请列举这些服务的优点和需要改进的地方?
向磊:主要是用到了阿里云的ECS服务器,对Hadoop来说这就够了。优点嘛,就是执行速度快,内网间通信也非常快。需要改进的么,我了解了一下,阿里云为了保证数据安全,每个云主机里的数据都是备份3份的。然后如果用上Hadoop,Hadoop本身又是备份呢3份,这样数据就变成9份了。不知道阿里云能否有一种服务,用户可以自己定义主机数据的备份份数的。不过我觉得这会比较困难,因为这是云计算的底层服务,可能会很难改。算是个希望吧。
InfoQ: 你提到EasyHadoop是根据GPL协议进行开发的,主要贡献者是几个核心团队的人员,您认为这种开源方式有什么利弊?
向磊:GPL简单的说就是开源传染协议。我的想法是,我既然愿意开源出来,就意味这我愿意为需要的人作出一点贡献。而被提供帮助的人们不需要向我支付费用,只要把这种帮助一直延续下去就好了。“Pay it forward, not pay me”,目前代码贡献者主要是我个人,主要原因是语言和程序架构比较复杂,语言方面用到了php,shell,python三种。然后涉及操作系统的底层内容比较多,像异步调用,线程池,socket通信等等。然后趣游的程序员史东杰提交过phpHiveAdmin的HQL自动提示代码和其他修改意见。窝窝团的用户提交过phpHiveAdmin的HQL正则表达式bug问题,目前已经修复了。
利弊方面,有利的方面是能够让软件可持续发展下去,每个人的代码都会被公开出来。弊端就是不会得到商业的支持,也就是没有任何来自商业公司的赞助。我目前是这样看的。
InfoQ:请你分享一下获奖的感受?
向磊:首先得感谢阿里云提供了这样一个比赛,能够和很多优秀的开发者面对面交流开发技巧。获奖感受一个成语总结就是受宠若惊,确实没有想到能拿到奖,因为毕竟参赛人数很多,每个人的作品又都独具匠心,非常有想法和特色,有些技术水平也非常高。比如三等奖的一个作者,北航的研三学生蔺波写的僵尸网络仿真就很厉害,网络仿真本身就是一个比较偏技术和前沿的东西,很难想象是一个学生的作品。
InfoQ: EasyHadoop下一步的发展计划是什么?
向磊:首先来说还是会继续完善整个产品,继续简化用户操作,增加功能,增强监控,修正bug,提高代码的安全性和强壮性。我还有很多想法,慢慢会逐步实现出来。然后也会对其他Hadoop生态圈的周边软件进行界面化封装,比如Pig,Mahout等等。大家在大会上都看到了phpHiveAdmin的Logo,当时因为时间关系没有讲。在这里我也想借这个logo的诞生贫两句,这个Logo是我一个发小帮我设计的。当时我告诉了他三个关键词:蜜蜂,大象,和简单。大家都知道,Hive的标志是蜜蜂,Hadoop的标志是大象,phpHiveAdmin的标志就是简单。所以就诞生了这个又像蜜蜂,又像大象,又很抽象的类似于任天堂红白机感觉的Logo,我觉得他很好的诠释了我对这整个系列产品的概念,就是要让大家像打红白机一样简单的进入大数据的殿堂。只要你会用Mysql,你就可以用Hive,只要你会点鼠标,你就可以用Hadoop。极简是EasyHadoop和整个系列产品的发展目标和方向,这也是我为什么当初决定用php来开发的理由。

感谢阿里云,感谢InfoQ,感谢谷歌,感谢Doug Cutting,以及感谢为大数据作出贡献的每一个人。
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/633773
推荐阅读
相关标签
  

闽ICP备14008679号