一些hadoop入门小demo_hadoop demo

作者：Li_阴宅 | 2024-07-14 13:22:02

踩

hadoop demo

lz最近在研究hadoop，刚在入门阶段，对一些高深的知识点还不在行，但是我希望能够通过自己点点滴滴的学习总结，在日复一日的过程中，逐渐积累相关的学习经验，从而能够逐步成为hadoop方面、spark甚至是大数据方面的专家。

那么只能先从一些小的demo开始学些，这里要介绍的一个小demo是在给定的一个文件中，求出每年的最高气温。

这里的数据，前4位表示的是年份，中间四位表示的是月和日，最后两位表示的是当天的温度。那么现在要利用hadoop来实现在这些所有的日期里的温度，选取最高的温度。

首先，通过新建一个maven项目，那么需要更新pom.xml文件，写入依赖的jar包。


<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.1</version>
    </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.1</version>
    </dependency>
        <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>2.7.1</version>
    </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <art

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/824804