放|FangJZSP

Docker｜RocketMQ部署

2024/7/13 后端服务器消息队列

# RocketMQ部署

使用docker-compose启动rocketmq

# 创建挂载目录

# 创建挂载目录 -p 跳过已创建的目录或者创建没有的目录
# 创建namesrv的数据存储目录
mkdir -p /data/rocketmq/namesrv;
# 创建broker的配置文件目录
mkdir -p /data/rocketmq/broker/conf;
# 创建broker的库文件目录
mkdir -p /data/rocketmq/broker/lib;
# 创建控制台的数据存储目录
mkdir -p /data/rocketmq/console/data;
1
2
3
4
5
6
7
8
9

# 创建挂载配置文件

# broker相关配置

broker负责接收、存储并转发消息到消费者

编辑broker的配置文件

vim /data/rocketmq/broker/conf/broker.conf

# 所属集群名字
brokerClusterName=DefaultCluster

# broker名字，注意此处不同的配置文件填写的不一样，如果在broker-a.properties使用:broker-a,
# 在broker-b.properties使用:broker-b
brokerName=broker-a

# 0 表示Master，>0 表示Slave
brokerId=0

# nameServer地址，分号分割
# namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
namesrvAddr=rocketmq-namesrv:9876

# 启动IP,如果 docker 报 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <192.168.0.120:10909> failed
# 解决方式1 加上一句producer.setVipChannelEnabled(false);，解决方式2 brokerIP1 设置宿主机IP，不要使用docker 内部IP
# **换成自己的IP**
brokerIP1=10.0.12.13

# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4

# 是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 ！！！这里仔细看是false，false，false
autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true

# Broker 用来接收来自生产者、消费者和其他客户端的请求的端口
listenPort=10911

# 此参数控制是否开启密码,不开启可设置false
# 如果有设置密码的需求，先给broker.conf开启acl密码配置true
aclEnable=true

# 删除文件时间点，默认凌晨4点
deleteWhen=04

# 文件保留时间，默认48小时
fileReservedTime=120

# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824

# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000

# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
#storePathRootDir=/home/ztztdata/rocketmq-all-4.1.0-incubating/store

# commitLog 存储路径
#storePathCommitLog=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/commitlog

# 消费队列存储
#storePathConsumeQueue=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/consumequeue

# 消息索引存储路径
#storePathIndex=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/index

# checkpoint 文件存储路径
#storeCheckpoint=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/checkpoint

# abort 文件存储路径
#abortFile=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/abort

# 限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

# Broker 的角色
# - ASYNC_MASTER 异步复制 Master
# - SYNC_MASTER 同步双写 Master
# - SLAVE
brokerRole=ASYNC_MASTER

# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#发消息线程池数量
#sendMessageThreadPoolNums=128

#拉消息线程池数量
#pullMessageThreadPoolNums=128
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94

# 创建acl配置文件

acl文件，用于开启用户名密码

vim /data/rocketmq/broker/conf/plain_acl.yml

# globalWhiteRemoteAddresses: 配置全局白名单的远程地址，可以使用通配符。
# accounts: 配置账户信息。
#   - accessKey: 账户的访问密钥。
#     secretKey: 账户的秘密密钥。
#     whiteRemoteAddress: 账户的白名单远程地址。
#     admin: 是否为管理员账户，管理员账户可以访问所有资源。
#     defaultTopicPerm: 默认的主题权限，可能的值为PUB（发布）、SUB（订阅）、DENY（拒绝）。
#     defaultGroupPerm: 默认的组权限，可能的值为PUB（发布）、SUB（订阅）、DENY（拒绝）。
#     topicPerms: 配置特定主题的权限。
#       - topicA=DENY: 拒绝访问topicA。
#       - topicB=PUB|SUB: 允许发布和订阅topicB。
#       - topicC=SUB: 允许订阅topicC。
#     groupPerms: 配置特定组的权限。
#       - groupA=DENY: 拒绝访问groupA。
#       - groupB=PUB|SUB: 允许发布和订阅groupB。
#       - groupC=SUB: 允许订阅groupC。

globalWhiteRemoteAddresses:
#  - 47.100.93.*
#  - 156.254.120.*
 
accounts:
  - accessKey: RocketMQ
    secretKey: 12345678
    whiteRemoteAddress:
    admin: false
    defaultTopicPerm: DENY
    defaultGroupPerm: SUB
    topicPerms:
      - topicA=DENY
      - topicB=PUB|SUB
      - topicC=SUB
    groupPerms:
      # the group should convert to retry topic
      - groupA=DENY
      - groupB=PUB|SUB
      - groupC=SUB

  - accessKey: relaxchat
    secretKey: 12345678
    whiteRemoteAddress: 
    admin: true
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

# 创建console配置文件

给console（控制台）加上账号密码，可以定义管理员和用户

vim /data/rocketmq/console/data/users.properties

# This file supports hot change, any change will be auto-reloaded without Console restarting.
# Format: a user per line, username=password[,N] #N is optional, 0 (Normal User); 1 (Admin)

# Define Admin
# =============用户名和密码规则「用户名=密码,权限」，这里的权限为1表示管理员>，为0表示普通用户=============
# 例如：admin=admin123,1
relaxchat=123456,1


# Define Users
# =============屏蔽下边两个账户=============
#user1=user1
#user2=user2
1
2
3
4
5
6
7
8
9
10
11
12
13

# 创建rocketmq的docker-compose.yml文件

vim /data/rocketmq/docker-compose.yml

端口的配置规则：ports: 宿主机的端口/容器的端口

挂载目录的配置规则：volumes: 宿主机上的目录或文件/容器内部的目录

aliases作用：在同一网络中的容器之间提供额外的主机名映射，允许其他容器通过这些别名来访问该容器

version: '3.5'
services:
  rocketmq-namesrv:
    image: foxiswho/rocketmq:4.8.0
    container_name: rocketmq-namesrv
    restart: always
    ports:
      - 9876:9876
    volumes:
      - ./namesrv/logs:/home/rocketmq/logs
      - ./namesrv/store:/home/rocketmq/store
    environment:
      JAVA_OPT_EXT: "-Duser.home=/home/rocketmq -Xms128M -Xmx128M -Xmn128m"
    command: ["sh","mqnamesrv"]
    networks:
      rocketmq_net:
        aliases:
          - rocketmq-namesrv


  rocketmq-broker:
    image: foxiswho/rocketmq:4.8.0
    container_name: rocketmq-broker
    restart: always
    ports:
      - 10909:10909
      - 10911:10911
    volumes:
      - ./broker/logs:/home/rocketmq/logs
      - ./broker/store:/home/rocketmq/store
      - ./broker/conf/plain_acl.yml:/home/rocketmq/rocketmq-4.8.0/conf/plain_acl.yml
      - ./broker/conf/broker.conf:/etc/rocketmq/broker.conf
    environment:
      JAVA_OPT_EXT: "-Duser.home=/home/rocketmq -Xms128m -Xmx128m -Xmn128m"
    command: ["sh","mqbroker","-c","/etc/rocketmq/broker.conf"]
    depends_on:
      - rocketmq-namesrv
    networks:
      rocketmq_net:
        aliases:
          - rocketmq-broker


  rocketmq-console:
    image: iamverygood/rocketmq-console:4.7.1
    container_name: rocketmq-console
    restart: always
    ports:
      - 8180:8080
    volumes:
      - ./console/data:/tmp/rocketmq-console/data
    environment:
      JAVA_OPTS: "-Drocketmq.namesrv.addr=rocketmq-namesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false -Drocketmq.config.loginRequired=true -Drocketmq.config.aclEnabled=true -Drocketmq.config.accessKey=relaxchat -Drocketmq.config.secretKey=12345678"
    depends_on:
      - rocketmq-namesrv
    networks:
      rocketmq_net:
        aliases:
          - rocketmq-console

networks:
  rocketmq_net:
    name: rocketmq_net
    driver: bridge
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

如果在acl配置文件中修改了密码，记得把yml的console帐号密码也一同更改：

-Drocketmq.config.accessKey=relaxchat -Drocketmq.config.secretKey=12345678

# 授予目录权限

chmod -R 777 /data/rocketmq/namesrv/;
chmod -R 777 /data/rocketmq/broker/;
chmod -R 777 /data/rocketmq/console/;
1
2
3

# 启动容器

# 到对应目录下启动容器
cd /data/rocketmq
# 启动容器
docker-compose up -d
1
2
3
4

docker ps，可以看见一直在重启中～

注意，第一次会启动不成功，因为broker需要创建一堆文件。

没有权限，则再执行一遍权限命令

#目录权限：
chmod -R 777 /data/rocketmq/namesrv/;
chmod -R 777 /data/rocketmq/broker/;
chmod -R 777 /data/rocketmq/console/;
#然后强制重新构建
docker-compose up --force-recreate -d
1
2
3
4
5
6

# 登录控制台

http://ip:8180/ (opens new window) 输入帐号密码 relaxchat 12345678

Last Updated: 2025/1/13 14:40:22