技术标签： 大数据学习 Flume安装和部署 大数据生态技术
1） Flume官网地址
2）文档查看地址
http://flume.apache.org/FlumeUserGuide.html
1）apache-flume-1.7.0-bin.tar.gz上传到linux
2）解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下
$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/
3 )将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件
$ mv flume-env.sh.template flume-env.sh
$ vi flume-env.sh
#修改内容是：但是记住里面有个java home是注释掉的，千万别解开，后面还有，否则，启动不起来
export JAVA_HOME=/opt/module/jdk1.8.0_144
1、案例需求：首先，Flume监控本机44444端口，然后通过netcat工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。
2、实现步骤：
1）安装netcat工具 $ sudo yum install -y nc
2）判断44444端口是否被占用 $ sudo netstat -tunlp | grep 44444
3）创建Flume Agent配置文件 flume-netcat-logger.conf
$ touch flume-netcat-logger.conf
4）★编辑配置文件
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
5） 先开启flume监听端口------最重要的一点就是a1不是乱取的，是跟上面的配置文件是一致的
$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console
参数说明：
--conf(-c) conf/ ：表示配置文件存储在conf/目录
--name(-n) a1 ：表示给agent起名为a1--最重要的一点就是a1不是乱取的，是跟上面的配置文件是一致的
--conf-file(-f) job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger==INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
6）使用netcat工具向本机的44444端口发送内容
服务器端开启： $ nc -lk 44444
客户端连接服务器端：$nc localhost 44444
文章浏览阅读2.7k次，点赞2次，收藏5次。mybatis使用sqlserver驱动_mybatis连接sqlserver
文章浏览阅读91次。ava计算机毕业设计重庆美食网站源程序+mysql+系统+lw文档+远程调试。前端技术：Layui、HTML、CSS、JS、JQuery等技术。springboot基于springboot的球队管理系统。springboot晨曦文学社在线投稿系统的设计与实现。springboot校园周边美食探索及分享平台。springboot校园招聘论坛设计。springboot精准扶贫管理系统。_重庆美食推荐系统毕业设计
文章浏览阅读443次。1、django的简介浏览器与服务器之间遵循的一个协议： HTTP协议服务器与应用程序框架之间：wsgi1.1 Django的简介Django是一个重量型框架主要目的：简便快捷开发Django基于MVC模式，但是它是MVT模式的核心：解耦（高内聚，低耦合）MVC设计的框架（1）重量级框架（2）MVT模式MVC :定义：MVC全名是Model View Con..._/works/count?is_template=false (6 ms) 403
文章浏览阅读9.6k次，点赞65次，收藏120次。VMtools应该已成功安装并配置，应该能够在主机和Ubuntu虚拟机之间实现文本的复制和粘贴操作。右键点击你创建的系统，然后出现菜单下滑找到安装 VMware Tools（T） 这个点击安装；这些命令假设你的Ubuntu系统已连接到互联网并且已配置为使用apt软件包管理器；Ubuntu上安装和配置VMtools以实现与主机之间的文本复制粘贴功能；然后弹出虚拟机设置-->点击选项-->客户机隔离-->启用复制粘贴；如果你的网络环境有限，你可能需要提前配置好网络或更换软件源；_ubuntu虚拟机与主机复制粘贴
文章浏览阅读1.9k次。排版是任何设计的基础 ，因为阅读是我们在网络上所做的最基本的事情之一。 您选择的排版会影响网站的多个方面，包括可读性，心情和整体用户体验 。 对于设计师和开发人员来说， 了解字体的基本原理以创建可读的令人愉悦的设计至关重要。 之前我们一直在讨论字体配对工具 ，而今天我们将与您分享打字工具，这些工具可以使您在构建和/或设计的网站上获得更好的阅读体验。 这些是插件，在线工具和脚本，可帮助您..._八字排盘app编写
文章浏览阅读6.6k次，点赞22次，收藏68次。先放下我做的完整永磁同步电机矢量控制系列仿真框图我在做仿真前是每个小的仿真分开做的，在各个仿真完成后我把所有的集中在了一个仿真模型里面，公用一个PMSM，不再需要复杂的切换和调参了。在模型里我把各个仿真的原理图和结果都仿真里面可以方便对照。ps.个人有点在意模型搭建的简洁性和美观性，在外观上简洁美观的，在性能上也会更好。less is more - .-目录总体仿真框图1.矢量运算器的PMSM-FOC2.PMSM-FOC采用电流滞环3.PMSM-FOC 采用..._永磁同步电机电流滞环矢量控制系统仿真csdn
文章浏览阅读3.8k次，点赞5次，收藏9次。Apipost 是国人开发的，基于协作，更懂中国程序员，不止于 API 文档，调试，Mock。Apipost = Postman + Swagger + Mock。它支持后端，前端，测试同时在线编辑，内容实时同步，非常适合团队协作开发。_apipost 免安装
文章浏览阅读1.2k次。安装环境：Linux: CentOS7.2rabbitMq:3.6.8Erlang： R16B03-1（安装rabbitMq之前要先安装Erlang库）1.安装Erlang（已安装请略过）使用yum安装Erlangyum install erlang使用如下命令检测Erlang是否安装成功erl如果安装成功会出现如下版本号使用：q(). 命令退出..._腾讯云 rabbitmq 安装 端口失败
文章浏览阅读361次。NodeJS连接MySQL数据库并进行操作_node连接mysql数据库后如何执行代码
文章浏览阅读9k次，点赞33次，收藏173次。系统需求分析本程模拟面对英语单词有背诵和查询需求的用户。用户在实际学习过程中可能会遇到学习单词时实体单词书体积大不方便的情况，这时就可以使用便携PC设备来运行此程序方便学习。在本程序中，设计设计了自动背单词的部分。每次给用户输出10个单词，用户自己进行背诵并且立即进行测试，在测试中本程序会记录用户对单词的掌握程度，并且形成熟练度等级。在用户遇到新的单词时可以根据跟程序内部提供的词库实现查单..._c语言背单词程序代码
文章浏览阅读3.3k次，点赞5次，收藏8次。Promentheus、Grafana，监控维度讨论。_监控维度
文章浏览阅读7.5k次，点赞7次，收藏43次。前言前面两个章节讲解了K8S的总体入门准备以及全局配置管理的相关内容，正常来说接下来应该将将存储或者组件，但是由于那两部分内容过多且相对偏重细节，所以这一篇先把K8S中的Service先讲解下，帮助大家先理清K8S的整体架构，后续再讲解细节内容的时候可以快速上手，便于理解。正文Service是什么？在说明Service是什么之前先了解下Service的使用场景： 当客户端想要访问K8S集群中的pod时，需要知道pod的ip以及端口，那K8S中如何在不知道pod的地址信息的情况下进行po_容器service的类型