RocketMQ单台,各种集群,可视化安装步骤_可——叹——落叶飘零的博客-程序员ITS304

技术标签: java  linux服务  

下载地址

https://mirror.bit.edu.cn/apache/rocketmq/

安装JDK1.8

上传jdk到linux主机/usr/local/src
解压压缩包

tar -xvf jdk-8u51-linux-x64.tar.gz

为了方便好记可以把解压后的jdk文件夹改名为jdk1.8

mv jdk1.8.0_51 jdk1.8

编辑环境变量配置文件

vim /etc/profile

#在文本最后
export JAVA_HOME=/usr/local/src/jdk1.8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib

使jdk生效

source /etc/profile

验证

java -version

安装RocketMQ

直接下载

wget https://mirror.bit.edu.cn/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip

或上传下载好的压缩包
把rocketmq 解压到 /usr/local/ 目录
安装解压工具

yum install -y unzip zip

解压

unzip rocketmq-all-4.8.0-bin-release.zip

方便改名

mv rocketmq-all-4.8.0-bin-release rocketmq

配置环境变量方便随时使用MQ命令

vim /etc/profile

# 在文件末尾添加以下内容:
export ROCKETMQ_HOME=/usr/local/rocketmq
export PATH=$ROCKETMQ_HOME/bin:$PATH

使环境变量生效

source /etc/profile

配置MQ启动内存大小

rocketmq需要启动两个服务: name server 和 broker, name server 默认配置JVM使用的内存是4g, broker默认配置JVM使用的内存是8g.
修改 name server 内存改为 256m

cd /usr/local/rocketmq/
# 编辑 bin/runserver.sh
vim bin/runserver.sh

# 找到文件中下面这一行:
JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

# 将 -Xms4g -Xmx4g -Xmn2g 修改为 -Xms256m -Xmx256m -Xmn128m
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

修改 broker 内存改为 256m

# 编辑 bin/runbroker.sh
vim bin/runbroker.sh

# 找到文件中下面这一行:
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"

# 将 -Xms8g -Xmx8g -Xmn4g 修改为 -Xms256m -Xmx256m -Xmn128m
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

启动 rocketmq

先启动 name server

# 进入 rocketmq 目录
cd /usr/local/rocketmq/

# 启动 name server
nohup sh bin/mqnamesrv &

# 查看运行日志, 看到"The Name Server boot success."表示启动成功
tail -f ~/logs/rocketmqlogs/namesrv.log

再启动 broker

# 启动 broker, 连接name server: localhost:9876
nohup sh bin/mqbroker -n localhost:9876 &

# 查看运行日志, 看到"The broker[......:10911] boot success."表示启动成功
tail -f ~/logs/rocketmqlogs/broker.log 

测试

运行测试, 启动生产者发送消息, 启动消费者接收消息

# 通过环境变量, 告诉客户端程序name server的地址
export NAMESRV_ADDR=localhost:9876

# 启动生产者来测试发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

# 启动消费者来测试接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

关闭RocketMQ

mqshutdown broker
mqshutdown namesrv

RocketMQ可视化界面

github提供了rocketmq 的管理界面: 地址:
https://github.com/apache/rocketmq-externals

使用码云的镜像, 地址:
https://gitee.com/mirrors/RocketMQ-Externals

打包项目

如果没有安装 maven, 请先执行 maven 安装命令

yum install -y maven

打包管理界面项目 rocketmq-console.

# 进入管理界面项目的文件夹
cd RocketMQ-Externals/rocketmq-console

# 执行maven 打包命令, 执行时间较长, 请耐心等待
mvn clean package -Dmaven.test.skip=true

运行启动管理界面

打包的 jar 文件在 target 目录, 进入目录执行jar文件

# 进入 target 目录
cd target

# 运行管理界面
nohup java -jar rocketmq-console-ng-1.0.1.jar --server.port=8080 --rocketmq.config.namesrvAddr=localhost:9876 &

访问管理界面

http://ip:8080

RocketMQ集群方案

4种模式介绍
多Master模式:一个集群无Slave,全是Master

多Master多Slave模式:异步复制,同步复制

Dledger:每个Master配置二个 Slave 组成 Dledger Group,可以有多个 Dledger Group,由 Dledger 实现 Master 选举,可实现动态扩容。
选择:
前三种Master Broker 挂了之后 ,没办法让 Slave Broker 自动 切换为新的 Master Broker,需要手动更改配置将 Slave Broker 设置为 Master Broker,推荐Dledger

双主双从同步-和-异步复制方案搭建

同步方案

整个集群由2个 name server 实例和4个 broker 实例组成
name server:
两台服务器分别启动两个name server
broker A 主从:
服务器1部署 broker A 主服务
服务器2部署 broker A 从服务
broker B 主从:
服务器2部署 broker B 主服务
服务器1部署 broker B 从服务

方便在一台机器上启动多个实例,以文件夹分开

mkdir /usr/local/rocketmq/store/
mkdir /usr/local/rocketmq/store/broker-a
mkdir /usr/local/rocketmq/store/broker-a/commitlog
mkdir /usr/local/rocketmq/store/broker-b
mkdir /usr/local/rocketmq/store/broker-b/commitlog
mkdir /usr/local/rocketmq/store/broker-as
mkdir /usr/local/rocketmq/store/broker-as/commitlog
mkdir /usr/local/rocketmq/store/broker-bs
mkdir /usr/local/rocketmq/store/broker-bs/commitlog

rocketmq/conf 目录下提供了四种集群方案的配置样例

2m-2s-async:双主双从异步复制
2m-2s-sync:双主双从同步复制
2m-noslave:双主
dledger: raft主从切换

broker-a,a主服务器配置

在服务器1修改样例配置文件:rocketmq/conf/2m-2s-sync/broker-a.properties

在样例配置文件中,添加三项配置:

listenPort:我们在一台服务器上要运行两个broker实例,所以两个实例的端口要有所区分。这里broker-a主服务器的端口使用默认的10911。
storePathRootDir:数据存储目录
storePathCommitLog:提交日志存储目录

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

listenPort=10911
storePathRootDir=/usr/local/rocketmq/store/broker-a
storePathCommitLog=/usr/local/rocketmq/store/broker-a/commitlog

broker-a slave,a从服务器配置

在服务器2修改样例配置文件:rocketmq/conf/2m-2s-sync/broker-a-s.properties

在样例配置文件中,添加三项配置:

listenPort:我们在一台服务器上要运行两个broker实例,所以两个实例的端口要有所区分。这里broker-a slave从服务器的端口使用11911。
storePathRootDir:数据存储目录
storePathCommitLog:提交日志存储目录

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

listenPort=11911
storePathRootDir=/usr/local/rocketmq/store/broker-as
storePathCommitLog=/usr/local/rocketmq/store/broker-as/commitlog

broker-b,b主服务器配置

在服务器2修改样例配置文件:rocketmq/conf/2m-2s-sync/broker-b.properties

在样例配置文件中,添加三项配置:

listenPort:我们在一台服务器上要运行两个broker实例,所以两个实例的端口要有所区分。这里broker-b主服务器的端口使用默认的10911。
storePathRootDir:数据存储目录
storePathCommitLog:提交日志存储目录

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH

listenPort=10911
storePathRootDir=/usr/local/rocketmq/store/broker-b
storePathCommitLog=/usr/local/rocketmq/store/broker-b/commitlog

broker-b slave,b从服务器配置

在服务器1修改样例配置文件:rocketmq/conf/2m-2s-sync/broker-b-s.properties

在样例配置文件中,添加三项配置:

listenPort:我们在一台服务器上要运行两个broker实例,所以两个实例的端口要有所区分。这里broker-b slave从服务器的端口使用11911。
storePathRootDir:数据存储目录
storePathCommitLog:提交日志存储目录

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

listenPort=11911
storePathRootDir=/usr/local/rocketmq/store/broker-bs
storePathCommitLog=/usr/local/rocketmq/store/broker-bs/commitlog
#支持sql92
enablePropertyFilter=true

配置要点说明

四台服务器的集群名 brokerClusterName 相同。集群名称相同的服务器共同组成服务集群 。

从服务器通过名字与主服务器关联在一起,brokerName 与主服务器相同。
brokerId为0是主服务器。从服务器的值是非零值,例如如果有四个从服务器,他们的 brokerId 应该是 1,2,3,4。
brokerRole的值为 SYNC_MASTER 是同步复制的主服务器。如果是 ASYNC_MASTER 则为异步复制的主服务器。

同步复制:消息复制到从服务器后才向生产者发回反馈信息。
异步复制:消息发到主服务器就向生产者发回反馈信息,之后再向从服务器复制。

启动

启动两个 name server

在两台服务器上启动两个 name server,它们不用做任何集群的配置,都是作为独立服务运行,它们之间也不会进行数据复制。
所有broker服务启动后,要同时连接这两个 name server,向两个 name server 进行注册。
在两台服务器上都启动 name server:

nohup sh mqnamesrv &
启动 broker a 的主从两台服务器

在服务器1上启动 broker a 主服务器:

参数说明:
-n参数:指定name server地址列表,多个地址用分号分隔
-c参数:指定配置文件,使用指定的配置文件启动 broker

nohup sh mqbroker \
-n '192.168.126.100:9876;192.168.64.152:9876' \
-c ../conf/2m-2s-sync/broker-a.properties \
&

在服务器2上启动 broker a 从服务器:

nohup sh mqbroker \
-n '192.168.126.100:9876;192.168.64.152:9876' \
-c ../conf/2m-2s-sync/broker-a-s.properties \
&
启动 broker b 的主从两台服务器

在服务器2上启动 broker b 主服务器:

nohup sh mqbroker \
-n '192.168.126.100:9876;192.168.64.152:9876' \
-c ../conf/2m-2s-sync/broker-b.properties \
&

在服务器1上启动 broker b 从服务器:

nohup sh mqbroker \
-n '192.168.126.100:9876;192.168.64.152:9876' \
-c ../conf/2m-2s-sync/broker-b-s.properties \
&

检查

jps

使用可视化管理

#使用可视化jar包
nohup java -jar rocketmq-console-ng-1.0.1.jar \
--server.port=8080 \
--rocketmq.config.namesrvAddr='192.168.126.100:9876;192.168.64.152:9876' \
&

在这里插入图片描述

异步方案

同步方案修改主的配置参数即可

Dledger方案搭建

(一主两从,可配置多个一主两从实现扩容)
部分配置需要自行建好文件夹配置好对应机器ip
conf/dledger配置文件解释
共有三台n0主,n1从,n2从
主n0

## 集群名
brokerClusterName = myCluster
## broker组名,同一个myClusterGroup内,brokerName名要一样
brokerName=myNode00

listenPort=30911
namesrvAddr=192.168.126.100:9876;192.168.16.103:9876
storePathRootDir=/usr/local/rocketmq/store/node00
storePathCommitLog=/usr/local/rocketmq/store/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=myNode00
## n0 n1 n2 分别是broker1,broker2,broker3 的 dLegerSelfId
## 例如:dLegerPeers=n0-服务器1的IP:40911;n1-服务器2的IP:40912;n2-服务器3的IP:40913
dLegerPeers=n0-192.168.126.102:40911;n1-192.168.126.102:40912;n2-192.168.126.102:40913
## must be unique
## 这个值必须是在同一个RaftClusterGroup内唯一的
dLegerSelfId=n0
sendMessageThreadPoolNums=16

从n1

brokerClusterName = myCluster
brokerName=myNode00

listenPort=30911
namesrvAddr=192.168.126.100:9876;192.168.16.103:9876
storePathRootDir=/usr/local/rocketmq/store/node00
storePathCommitLog=/usr/local/rocketmq/store/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=myNode00
dLegerPeers=n0-192.168.126.102:40911;n1-192.168.126.102:40912;n2-192.168.126.102:40913
dLegerSelfId=n1
sendMessageThreadPoolNums=16

从n2以此类推
启动
类似之前集群一样先启动多台nameServer

nohup sh bin/mqnamesrv > nohubNameserv &

再启动三台broker(n0,n1,n2)

nohup sh mqbroker \
-n '192.168.126.100:9876;192.168.64.152:9876' \
-c conf/dledger/broker-n0.conf &
参数名 默认值 说明
listenPort 10911 接受客户端连接的监听端口
namesrvAddr null nameServer 地址
brokerIP1 网卡的 InetAddress 当前 broker 监听的 IP
brokerIP2 跟 brokerIP1 一样 存在主从 broker 时,如果在 broker 主节点上配置了 brokerIP2 属性,broker 从节点会连接主节点配置的 brokerIP2 进行同步
brokerName null broker 的名称
brokerClusterName DefaultCluster 本 broker 所属的 Cluser 名称
brokerId 0 broker id, 0 表示 master, 其他的正整数表示 slave
storePathCommitLog $HOME/store/commitlog/ 存储 commit log 的路径
storePathConsumerQueue $HOME/store/consumequeue/ 存储 consume queue 的路径
mappedFileSizeCommitLog 1024 * 1024 * 1024(1G) commit log 的映射文件大小
deleteWhen 04 在每天的什么时间删除已经超过文件保留时间的 commit log
fileReservedTime 72 以小时计算的文件保留时间
brokerRole ASYNC_MASTER SYNC_MASTER/ASYNC_MASTER/SLAVE
flushDiskType ASYNC_FLUSH SYNC_FLUSH/ASYNC_FLUSH SYNC_FLUSH 模式下的 broker 保证在收到确认生产者之前将消息刷盘。ASYNC_FLUSH 模式下的 broker 则利用刷盘一组消息的模式,可以取得更好的性能。
enableDLegerCommitLog 是否启动 DLedger true
dLegerGroup DLedger Raft Group的名字,建议和 brokerName 保持一致 RaftNode00
dLegerPeers DLedger Group 内各节点的端口信息,同一个 Group 内的各个节点配置必须要保证一致 n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913
dLegerSelfId 节点 id, 必须属于 dLegerPeers 中的一个;同 Group 内各个节点要唯一 n0
sendMessageThreadPoolNums 发送线程个数,建议配置成 Cpu 核数 16
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/UnicornRe/article/details/117745226

智能推荐

Spring Boot 引入Elasticsearch7_不会飞的鹰m的博客-程序员ITS304_elasticsearch7 springboot

Spring Boot 引入Elasticsearch7前置条件这里使用的Elasticsearch版本为7.26,之前有在ELK安装中有介绍过了具体安装方法。有想法的小伙伴可以去考古一下!在这里的使用场景需要将多个数据库的数据增量同步到ES中,使用到了Logstash导入数据库数据到ES,而到了这一步是为了去查询ES中存在的数据,并对数据进行处理统计。引入依赖<!-- 这里使用的Spring boot 2.3.5.RELEASE 兼容 Elasticsearch7.* 其他版本请自行百度

第一次互联网实习面试经历_风中摇曳的叶子的博客-程序员ITS304

实习面试经历研一暑假今年八月初的时候找数据方向的实习面了几家互联网,很遗憾都挂在面试上了,但是失败也是能总结很多东西的,姑且当做是去取取经知道自己哪里不行。已经过去两个多月了一直觉得这个过程是非常值得写一写,给自己以后留用的。无奈当时并没有那个心思,还好当时记下了一些面试的问题。现在突然想整理一下了。【网易实习面试】数据挖掘岗位面试时间2017/8/3下午2:00面试形式:笔试+面

小白笔记(一)——CSS-V1.0_import math的博客-程序员ITS304

新人小白在线学习前面刚看完了Html的基础,没做笔记,从接下来的CSS开始,就一点点的将自己的收获记录下来吧!在学习CSS之前,要先对html有一定的了解,在我个人看来,Html就像是一个框架,而CSS与JS更多的是去让这个框架美观起来,因为JS现在我还没了解,就先不提,今天我们主要来看的是CSS。CSS规则主要是由两个主要的部分构成:选择器和一条或多条声明CSS创建以及id和class选择器在Html中插入样式表,一般有三种方法外部样式表(External style sheet).

bigdecimal 平均数_BigDecimal精确计算工具类_weixin_39609354的博客-程序员ITS304

前言在实际开发中,遇到例如货币,统计等商业计算的时候,一般需要采用java.math.BigDecimal类来进行精确计算。而这类操作通常都是可预知的,也就是通用的。所以,写了个工具类来方便以后的工作。这是仓库地址:仓库地址BigDecimal的构建一般而言,我们主要从int,long,double,float来进行计算,在构建的时候推荐使用BigDecimal BigDecimal(String...

【CS231n】斯坦福大学李飞飞视觉识别课程笔记(十五):神经网络笔记2(下)_我是管小亮的博客-程序员ITS304

【CS231n】斯坦福大学李飞飞视觉识别课程笔记由官方授权的CS231n课程笔记翻译知乎专栏——智能单元,比较详细地翻译了课程笔记,我这里就是参考和总结。【CS231n】斯坦福大学李飞飞视觉识别课程笔记(十五):神经网络笔记2(下)损失函数我们已经讨论过损失函数的正则化损失部分,它可以看做是对模型复杂程度的某种惩罚。损失函数的第二个部分是数据损失,它是一个有监督学习问题,用于衡量分类...

华为零售商品识别一等奖方案_datayx的博客-程序员ITS304

向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号:datayx商品识别在零售行业的应用一、图像识别的应用场景,以及对零售行业的变革1.以图搜图,拍照购物说到图像识别,...

随便推点

ue4 android 贴图,UE4导入8k贴图方法_李秋恒的博客-程序员ITS304

[/Script/Engine.TextureLODSettings]@TextureLODGroups=GroupTextureLODGroups=(Group=TEXTUREGROUP_World,MinLODSize=1,MaxLODSize=8192,LODBias=0,MinMagFilter=aniso,MipFilter=point,MipGenSettings=TMGS_Simpl...

Leetcode刷题(k个一组翻转链表、字节跳动往年的真题)_study_**的博客-程序员ITS304

k个一组翻转链表题目一描述给定一个链表,将链表中的k个元素进行翻转,最后不满足k个元素的整数倍的元素,不进行翻转。例如:输入:1->2->3->4->5k=2时: 返回2->1->4->3->5k=3时:返回3->2->1->4->5题目传送题目一分析该题目是一道困难的题目,但是对于链表这种数据结构的题目一般都不是特别难。可以使用一个指针窗口进行翻转窗口内的所有节点,但是这样的做题需要多个指针,比较乱。我使用额

每月成长一步步_如何搭建个人云盘(NextCloud搭建篇,适用于Ubuntu)_dxj728的博客-程序员ITS304

1. 前期准备需要一台ubuntu16.04的linux主机,当然,存储容量越大越好,最好不要低于20G,否则存储什么呢从git上拉取的最新的nextcloud源码,不过后面有详细命令,可直接复制执行git项目地址:https://github.com/nextcloud(后面有详细步骤)2. apache2安装配置为了避免各种权限问题,建议直接使用root账号操作2.1....

自定义安卓图片懒加载_捡一晌贪欢的博客-程序员ITS304_android 图片懒加载

最近整理了公司有关图片加载代码,这部分代码也不知道当时怎么想的,自己写了一套图片懒加载控件,我是觉得这应该用一些稳定的图片加载开源库,比如 Glide 之类的,毕竟这些开源库有那么多人的多年维护,用起来不会有很多暗病,最近整理这些图片加载的代码真是弄的心力交瘁。一直改不是办法,想着应该也不难,就自己动手写了一个,下面看看吧!实现思路这里整理了一下图片懒加载的一个过程,实际就是下载到显示,当然我这写的思路仅供参考:初始化设置 (默认图、取内存缓存)加载 (取本地缓存、下载、存本地缓存)处理 (

android8.1 用 Native AudioTrack 直接播放PCM源音频文件_老理说的好的博客-程序员ITS304

此篇博文是笔者验证通过远程MIC采集音频输入送至android8.1系统进行播放,可以理解为给本地的安卓系统添加远程的MIC录音功能。本地播放pcm的音频数据使用libmedia库直接调用native的接口,创建AudioTrack播放。044100构造audioTrack过程,首先newandroidAudioTrack()对象,然后通过androidAudioTrackset()方法来配置该对象;1。...

java 实时播放android采集的音频,android 使用 audiorecord 和 audiotrack 实现实时录音播放..._Clarlie的博客-程序员ITS304

基本思路就是用 audiorecord不断获得音频数据,而后使用audiotrack 播放html//获得音频javapackage com.ysg.audiotest;import java.io.IOException;import java.io.PipedInputStream;import java.io.PipedOutputStream;import android.content....

推荐文章

热门文章

相关标签