热门标签
热门文章
- 1Java获取cpu和内存相关参数_java获取内存信息
- 2前端技能树，面试复习第 27 天—— React Diff 算法的原理，和 Vue 有什么区别 | 虚拟 DOM | key 的原理，为什么要用_react和vuediff算法区别
- 3vue2引入Element UI组件去创建新页面的详细步骤--项目阶段2
- 4批处理命令实现批量创建快捷方式_批处理创建快递方式
- 52021全球程序员收入报告，字节跳动年薪274万元排第5！
- 6好用的URL
- 7力扣206.反转链表（C++）_力扣206题c++测试
- 8Android网络编程（六）OkHttp3用法全解析_android studio 网络编程 okhttp3 用法
- 924届双非日常实习测开面经-腾讯、字节、英伟达、OPPO、深信服、Red Hat面经大合集_英伟达 面经
- 10pythonw. exe_pythonw.exe或python.exe？
当前位置: article > 正文
flume框架案例之抽取文件_flume支持文件抽取吗
作者：不正经 | 2024-02-16 00:41:20
赞
踩
flume支持文件抽取吗
======1.配置a3.conf===========
a3.sources = r3
a3.sinks = k3
a3.channels = c3
# Describe/configure the source
# 源是某个目录使用spooldir
a3.sources.r3.type = spooldir
# 抽取的目录 $ cp -r ${HADOOP_HOME}/logs/* /home/user01/logs ->执行完之后，会在原文件后面自动加一个.COMPLETED，所以换个目录比较合适
a3.sources.r3.spoolDir = /home/user01/logs
# 抽取该目录下符合包含.log结尾的文件 用正则表达式去除不符合要求的文件a3.sources.r3.ignorePattern = ^.*out.*
# 设置channel类型是file
a3.channels.c3.type = file
# 设置检查点目录，记录已经获取哪些文件，一些元数据信息
a3.channels.c3.checkpointDir = /opt/modules/cdh/flume-1.5.0-cdh5.3.6/checkpoint
#设置缓存的数据存储目录
a3.channels.c3.dataDirs = /opt/modules/cdh/flume-1.5.0-cdh5.3.6/bufferdata
# 设置sinks的输出类型
a3.sinks.k3.type = hdfs
# 启用设置多级目录，这里按年/月/日/时 2级目录，每个小时生成一个文件夹
a3.sinks.k3.hdfs.path = hdfs://bigdata.ibeifeng.com:8020/flume2/%Y%m%d/%H
# 设置HDFS生成文件的的前缀
a3.sinks.k3.hdfs.filePrefix = accesslog
#启用按时间生成文件夹
a3.sinks.k3.hdfs.round = true
#设置round单位:小时
a3.sinks.k3.hdfs.roundValue = 1
a3.sinks.k3.hdfs.roundUnit = hour
#使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
# 设置每次写入的DFS的event的个数为100个
a3.sinks.k3.hdfs.batchSize = 100
# 写入HDFS的方式
a3.sinks.k3.hdfs.fileType = DataStream
# 写入HDFS的文件格式
a3.sinks.k3.hdfs.writeFormat = Text
#设置解决文件过多过小问题
#每600秒生成一个文件
a3.sinks.k3.hdfs.rollInterval = 60
#当达到128000000bytes时，创建新文件 127*1024*1024
#实际环境中如果按照128M回顾文件,那么这里设置一般设置成127M
a3.sinks.k3.hdfs.rollSize = 128000000
#设置文件的生成不和events数相关，与时间和大小相关
a3.sinks.k3.hdfs.rollCount = 0
#设置成1，否则当有副本复制时就重新生成文件，上面三条则没有效果
a3.sinks.k3.hdfs.minBlockReplicas =1
//channel 连接sources和sinks
# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3
===================================
2.启动Flume-agent a3
$ bin/flume-ng agent --conf conf --conf-file conf/a3.conf --name a3 -Dflume.root.logger=INFO,console
bin/flume-ng agent --conf conf --conf-file conf/a3.conf --name a3 -Dflume.root.logger=INFO,console
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/blog/article/detail/88929
推荐阅读
- 在word中,利用ODBC驱动源,OFFICE宏来控制报表输出作者博客地址:下载工具工具下载:链接：提取码：mhtd根据Mysql数据库的版本下载想用的驱动源也可去官网下载:双击安装ODBC打开windows控制面板打开windows控制面... [详细]
赞
踩
- article
错误处理--CUDA error: device-side assert triggered（很有效）_embeddings _ api . py [ line :39]- error : cuda er
点进来的朋友你好啊，先别说，让我猜猜，你是不是正在写一个NLP模型？它是不是有lstm，或者transformer，或者textcnn？哈哈是不是猜中啦。你现在一定很着急，看了各种博客，说是下标越界~，可是找来找去，真的找不出哪里出界了？打... [详细]赞
踩
- 使用powerdesign制作数据库说明文档Step1、安装powerdesignPowerDesign网盘链接：https://pan.baidu.com/s/1GvQpcyokPlTxtfyb8TZcDA提取码:dm5u地区选择hong... [详细]
赞
踩
- 在实际工作中，有很多进行列表查询的场景，我们往往都需要做两个步骤：1.查询所需页数对应数据；2.统计符合条件的数据总数；而这，又会导致我们必然至少要写2个sql进行操作。这无形中增加了我们的工作量，另外，当发生需要变动时，我们又需要同时改动... [详细]
赞
踩
- 首先有一个官方的说法：静态Colider请不要移动，否则会引起物理引擎啥啥啥重置，消耗性能。然后面板上毫无疑问是有colider的，而且可以肯定的是面板总是存在移动。那么就加上刚体，第二个问题来了，大量的刚体导致物理引擎计算时间过长。但我纳... [详细]
赞
踩
- 在android项目编译时，GradleSync正常，编译报错，提示Couldnotresolve。。。_couldnotresolvecouldnotresolve1、问题现象在android项目编译时，GradleSync正常，编译报错... [详细]
赞
踩
- 微信小程序自定义弹窗功能实现_微信小程序自定义弹窗微信小程序自定义弹窗wxss:.pop{ position:fixed; top:0; right:0; bottom:0; left:0; z-index:1100; opacity:0;... [详细]
赞
踩
- 请注意，在搭建自己的Git私有仓库之前，请确保您具有适当的权限和合规性要求，并遵守相关法律法规。此外，确保备份重要数据并了解如何应对潜在的安全风险。_如何在服务器上搭建私人git仓库如何在服务器上搭建私人git仓库要在自己的服务器上搭建自己... [详细]
赞
踩
- Springboot接口条件查询并分页,Springboot集成分页插件Pagehelper导包依赖问题_pagehelper依赖包pagehelper依赖包Springboot集成分页插件Pagehelper导包依赖问题 &nb... [详细]
赞
踩
- Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaFirefox，Safari，GoogleChrome，... [详细]
赞
踩
- 一、分页插件PagehelperPageHelper是Mybatis的一个分页插件，非常好用！1.1SpringBoot依赖
com.github.pageh... [详细] 赞
踩
- 1.打开Unity，新建3D工程，导入新版的Vuforia，不会导入的可以看我之前的教程2.导入MRTK工具3.Unity中---删除相机---Hierarchy右键新建一个VuforiaCamera（ARCamera）Camera---B... [详细]
赞
踩
- AutoDevOpsprovidespre-definedCI/CDconfigurationwhichallowsyoutoautomaticallydetect,build,test,deploy,andmonitoryourappli... [详细]
赞
踩
- 【代码】PageHelper依赖框架使用。_pagehelper依赖pagehelper依赖引入依赖<!--PageHelper：专用于MyBatis的分页框架--><dependency><groupId&g... [详细]
赞
踩
- 闪烁问题原因：超过两个tabbar页不要单纯的使用官方说的show时getTabBar().setData设置选中态，自定义tabbar是多个实例的，那样只会改变当前tabbar实例的选中态，其他页面的tabbar实例并没有改变选中态。2.... [详细]
赞
踩
- IntelliJIDEA2023是一款强大的集成开发环境（IDE），专为Java开发人员设计。它提供了许多特色功能，帮助开发人员更高效地编写、测试和调试Java应用程序。以上是IntelliJIDEA2023的一些特色功能，可以帮助Java... [详细]
赞
踩
- ATT&CK组织在一系列“技术领域”中——生态系统是对手在提供对手必须规避或采取的一系列约束的范围内作战完成一系列目标的优势。到目前为止，MITRE已经定义了三种技术domains–Enterprise（代表传统的企业网络和云技术），移动（... [详细]
赞
踩
- 在IDEA中添加maven的mysql依赖_mavenmysql依赖mavenmysql依赖先打开IDEA，点击右边maven，在点击依赖项之后MavenRepository:mysql»mysql-connector-java»8.0.2... [详细]
赞
踩
- 1）解释什么是GO？GO是一种开源编程语言，可以轻松构建简单、可靠和高效的软件。程序是从包中构建的，其属性允许有效地管理依赖关系。2）GO中的语法是什么？GO中的语法遵循ExtendedBackus-NaurForm（EBNF）Produc... [详细]
赞
踩
- 1、首先需要下载snowboy的安装包，连接如下：https://s3-us-west-2.amazonaws.com/snowboy/snowboy-releases/rpi-arm-raspbian-8.0-1.2.0.tar.bz2通... [详细]
赞
踩
相关标签
