网络知识 娱乐 MySQL如何实时同步数据到ES？试试这款阿里开源的神器

MySQL如何实时同步数据到ES？试试这款阿里开源的神器

发布: 2023年2月14日 10:17:50

摘要

mall项目中的商品搜索功能，一直都没有做实时数据同步。最近发现阿里巴巴开源的canal可以把MySQL中的数据实时同步到Elasticsearch中，能很好地解决数据同步问题。今天我们来讲讲canal的使用，希望对大家有所帮助！

canal简介

canal主要用途是对MySQL数据库增量日志进行解析，提供增量数据的订阅和消费，简单说就是可以对MySQL的增量数据进行实时同步，支持同步到MySQL、Elasticsearch、HBase等数据存储中去。

canal工作原理

canal会模拟MySQL主库和从库的交互协议，从而伪装成MySQL的从库，然后向MySQL主库发送dump协议，MySQL主库收到dump请求会向canal推送binlog，canal通过解析binlog将数据同步到其他存储中去。

canal使用

接下来我们来学习下canal的使用，以MySQL实时同步数据到Elasticsearch为例。

组件下载

  • 首先我们需要下载canal的各个组件canal-server、canal-adapter、canal-admin，下载地址：github.com/alibaba/can…

  • canal的各个组件的用途各不相同，下面分别介绍下：
    • canal-server（canal-deploy）：可以直接监听MySQL的binlog，把自己伪装成MySQL的从库，只负责接收数据，并不做处理。
    • canal-adapter：相当于canal的客户端，会从canal-server中获取数据，然后对数据进行同步，可以同步到MySQL、Elasticsearch和HBase等存储中去。
    • canal-admin：为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。
  • 由于不同版本的MySQL、Elasticsearch和canal会有兼容性问题，所以我们先对其使用版本做个约定。

应用

端口

版本

MySQL

3306

5.7

Elasticsearch

9200

7.6.2

Kibanba

5601

7.6.2

canal-server

11111

1.1.15

canal-adapter

8081

1.1.15

canal-admin

8089

1.1.15

MySQL配置

  • 由于canal是通过订阅MySQL的binlog来实现数据同步的，所以我们需要开启MySQL的binlog写入功能，并设置binlog-format为ROW模式，我的配置文件为/mydata/mysql/conf/my.cnf，改为如下内容即可；

[mysqld]n## 设置server_id，同一局域网中需要唯一nserver_id=101 n## 指定不需要同步的数据库名称nbinlog-ignore-db=mysql n## 开启二进制日志功能nlog-bin=mall-mysql-bin n## 设置二进制日志使用内存大小（事务）nbinlog_cache_size=1M n## 设置使用的二进制日志格式（mixed,statement,row）nbinlog_format=row n## 二进制日志过期清理时间。默认值为0，表示不自动清理。nexpire_logs_days=7 n## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。n## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致nslave_skip_errors=1062 n复制代码

  • 配置完成后需要重新启动MySQL，重启成功后通过如下命令查看binlog是否启用；

show variables like '%log_bin%'n复制代码

+---------------------------------+-------------------------------------+n| Variable_name | Value |n+---------------------------------+-------------------------------------+n| log_bin | ON |n| log_bin_basename | /var/lib/mysql/mall-mysql-bin |n| log_bin_index | /var/lib/mysql/mall-mysql-bin.index |n| log_bin_trust_function_creators | OFF |n| log_bin_use_v1_row_events | OFF |n| sql_log_bin | ON |n+---------------------------------+-------------------------------------+n复制代码

  • 再查看下MySQL的binlog模式；

show variables like 'binlog_format%'; n复制代码

+---------------+-------+n| Variable_name | Value |n+---------------+-------+n| binlog_format | ROW |n+---------------+-------+n复制代码

  • 接下来需要创建一个拥有从库权限的账号，用于订阅binlog，这里创建的账号为canal:canal；

CREATE USER canal IDENTIFIED BY 'canal'; nGRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';nFLUSH PRIVILEGES;n复制代码

  • 创建好测试用的数据库canal-test，之后创建一张商品表product，建表语句如下。

CREATE TABLE `product` (n `id` bigint(20) NOT NULL AUTO_INCREMENT,n `title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,n `sub_title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,n `price` decimal(10, 2) NULL DEFAULT NULL,n `pic` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,n PRIMARY KEY (`id`) USING BTREEn) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;n复制代码

canal-server使用

  • 将我们下载好的压缩包canal.deployer-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-server，可使用如下命令解压；

tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gzn复制代码

  • 解压完成后目录结构如下；

├── binn│ ├── restart.shn│ ├── startup.batn│ ├── startup.shn│ └── stop.shn├── confn│ ├── canal_local.propertiesn│ ├── canal.propertiesn│ └── examplen│ └── instance.propertiesn├── libn├── logsn│ ├── canaln│ │ └── canal.logn│ └── examplen│ ├── example.logn│ └── example.logn└── pluginn复制代码

  • 修改配置文件conf/example/instance.properties，按如下配置即可，主要是修改数据库相关配置；

# 需要同步数据的MySQL地址ncanal.instance.master.address=127.0.0.1:3306ncanal.instance.master.journal.name=ncanal.instance.master.position=ncanal.instance.master.timestamp=ncanal.instance.master.gtid=n# 用于同步数据的数据库账号ncanal.instance.dbUsername=canaln# 用于同步数据的数据库密码ncanal.instance.dbPassword=canaln# 数据库连接编码ncanal.instance.connectionCharset = UTF-8n# 需要订阅binlog的表过滤正则表达式ncanal.instance.filter.regex=.*..*n复制代码

  • 使用startup.sh脚本启动canal-server服务；

sh bin/startup.shn复制代码

  • 启动成功后可使用如下命令查看服务日志信息；

tail -f logs/canal/canal.logn复制代码

2020-10-26 16:18:13.354 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111]n2020-10-26 16:18:19.978 [main] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......n复制代码

  • 启动成功后可使用如下命令查看instance日志信息；

tail -f logs/example/example.log n复制代码

2020-10-26 16:18:16.056 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]n2020-10-26 16:18:16.061 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]n2020-10-26 16:18:18.259 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example n2020-10-26 16:18:18.282 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*..*$n2020-10-26 16:18:18.282 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql.slave_.*$n2020-10-26 16:18:19.543 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first positionn2020-10-26 16:18:19.578 [main] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....n2020-10-26 16:18:19.912 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just last positionn {"identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mall-mysql-bin.000006","position":2271,"serverId":101,"timestamp":1603682664000}}n2020-10-26 16:18:22.435 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mall-mysql-bin.000006,position=2271,serverId=101,gtid=,timestamp=1603682664000] cost : 2768ms , the next step is binlog dumpn复制代码

  • 如果想要停止canal-server服务可以使用如下命令。

sh bin/stop.shn复制代码

canal-adapter使用

  • 将我们下载好的压缩包canal.adapter-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-adpter，解压完成后目录结构如下；

├── binn│ ├── adapter.pidn│ ├── restart.shn│ ├── startup.batn│ ├── startup.shn│ └── stop.shn├── confn│ ├── application.ymln│ ├── es6n│ ├── es7n│ │ ├── biz_order.ymln│ │ ├── customer.ymln│ │ └── product.ymln│ ├── hbasen│ ├── kudun│ ├── logback.xmln│ ├── META-INFn│ │ └── spring.factoriesn│ └── rdbn├── libn├── logsn│ └── adaptern│ └── adapter.logn└── pluginn复制代码

  • 修改配置文件conf/application.yml，按如下配置即可，主要是修改canal-server配置、数据源配置和客户端适配器配置；

canal.conf:n mode: tcp # 客户端的模式，可选tcp kafka rocketMQn flatMessage: true # 扁平message开关, 是否以json字符串形式投递数据, 仅在kafka/rocketMQ模式下有效n zookeeperHosts: # 对应集群模式下的zk地址n syncBatchSize: 1000 # 每次同步的批数量n retries: 0 # 重试次数, -1为无限重试n timeout: # 同步超时时间, 单位毫秒n accessKey:n secretKey:n consumerProperties:n # canal tcp consumern canal.tcp.server.host: 127.0.0.1:11111 #设置canal-server的地址n canal.tcp.zookeeper.hosts:n canal.tcp.batch.size: 500n canal.tcp.username:n canal.tcp.password:nn srcDataSources: # 源数据库配置n defaultDS:n url: jdbc:mysql://127.0.0.1:3306/canal_test?useUnicode=truen username: canaln password: canaln canalAdapters: # 适配器列表n - instance: example # canal实例名或者MQ topic名n groups: # 分组列表n - groupId: g1 # 分组id, 如果是MQ模式将用到该值n outerAdapters:n - name: logger # 日志打印适配器n - name: es7 # ES同步适配器n hosts: 127.0.0.1:9200 # ES连接地址n properties:n mode: rest # 模式可选transport(9300) 或者 rest(9200)n # security.auth: test:123456 # only used for rest moden cluster.name: elasticsearch # ES集群名称n复制代码

  • 添加配置文件canal-adapter/conf/es7/product.yml，用于配置MySQL中的表与Elasticsearch中索引的映射关系；

dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值ndestination: example # canal的instance或者MQ的topicngroupId: g1 # 对应MQ模式下的groupId, 只会同步对应groupId的数据nesMapping:n _index: canal_product # es 的索引名称n _id: _id # es 的_id, 如果不配置该项必须配置下面的pk项_id则会由es自动分配n sql: "SELECTn tp.id AS _id,n tp.title,n tp.sub_title,n tp.price,n tp.picn FROMn tproduct p" # sql映射n etlCondition: "where a.c_time>={}" #etl的条件参数n commitBatch: 3000 # 提交批大小n复制代码

  • 使用startup.sh脚本启动canal-adapter服务；

sh bin/startup.shn复制代码

  • 启动成功后可使用如下命令查看服务日志信息；

tail -f logs/adapter/adapter.logn复制代码

20-10-26 16:52:55.148 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: logger succeedn2020-10-26 16:52:57.005 [main] INFO c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## Start loading es mapping config ... n2020-10-26 16:52:57.376 [main] INFO c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## ES mapping config loadedn2020-10-26 16:52:58.615 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 succeedn2020-10-26 16:52:58.651 [main] INFO c.alibaba.otter.canal.connector.core.spi.ExtensionLoader - extension classpath dir: /mydata/canal-adapter/pluginn2020-10-26 16:52:59.043 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Start adapter for canal-client mq topic: example-g1 succeedn2020-10-26 16:52:59.044 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## the canal client adapters are running now ......n2020-10-26 16:52:59.057 [Thread-4] INFO c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Start to connect destination: example <=============n2020-10-26 16:52:59.100 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8081"]n2020-10-26 16:52:59.153 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/readn2020-10-26 16:52:59.590 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8081 (http) with context path ''n2020-10-26 16:52:59.626 [main] INFO c.a.otter.canal.adapter.launcher.CanalAdapterApplication - Started CanalAdapterApplication in 31.278 seconds (JVM running for 33.99)n2020-10-26 16:52:59.930 [Thread-4] INFO c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Subscribe destination: example succeed <=============n复制代码

  • 如果需要停止canal-adapter服务可以使用如下命令。

sh bin/stop.shn复制代码

数据同步演示

经过上面的一系列步骤，canal的数据同步功能已经基本可以使用了，下面我们来演示下数据同步功能。

  • 首先我们需要在Elasticsearch中创建索引，和MySQL中的product表相对应，直接在Kibana的Dev Tools中使用如下命令创建即可；

PUT canal_productn{n "mappings": {n "properties": {n "title": {n "type": "text"n },n "sub_title": {n "type": "text"n },n "pic": {n "type": "text"n },n "price": {n "type": "double"n }n }n }n}n复制代码

  • 创建完成后可以查看下索引的结构；

GET canal_product/_mappingn复制代码

  • 之后使用如下SQL语句在数据库中创建一条记录；

INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏游戏智能手机 6GB+64GB', 1999.00, NULL );n复制代码

  • 创建成功后，在Elasticsearch中搜索下，发现数据已经同步了；

GET canal_product/_searchn复制代码

  • 再使用如下SQL对数据进行修改；

UPDATE product SET title='小米10' WHERE id=5n复制代码

  • 修改成功后，在Elasticsearch中搜索下，发现数据已经修改了；

  • 再使用如下SQL对数据进行删除操作；

DELETE FROM product WHERE id=5n复制代码

  • 删除成功后，在Elasticsearch中搜索下，发现数据已经删除了，至此MySQL同步到Elasticsearch的功能完成了！

canal-admin使用

  • 将我们下载好的压缩包canal.admin-1.1.5-SNAPSHOT.tar.gz上传到Linux服务器，然后解压到指定目录/mydata/canal-admin，解压完成后目录结构如下；

├── binn│ ├── restart.shn│ ├── startup.batn│ ├── startup.shn│ └── stop.shn├── confn│ ├── application.ymln│ ├── canal_manager.sqln│ ├── canal-template.propertiesn│ ├── instance-template.propertiesn│ ├── logback.xmln│ └── publicn│ ├── avatar.gifn│ ├── index.htmln│ ├── logo.pngn│ └── staticn├── libn└── logsn复制代码

  • 创建canal-admin需要使用的数据库canal_manager，创建SQL脚本为/mydata/canal-admin/conf/canal_manager.sql，会创建如下表；

  • 修改配置文件conf/application.yml，按如下配置即可，主要是修改数据源配置和canal-admin的管理账号配置，注意需要用一个有读写权限的数据库账号，比如管理账号root:root；

server:n port: 8089nspring:n jackson:n date-format: yyyy-MM-dd HH:mm:ssn time-zone: GMT+8nnspring.datasource:n address: 127.0.0.1:3306n database: canal_managern username: rootn password: rootn driver-class-name: com.mysql.jdbc.Drivern url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=falsen hikari:n maximum-pool-size: 30n minimum-idle: 1nncanal:n adminUser: adminn adminPasswd: adminn复制代码

  • 接下来对之前搭建的canal-server的conf/canal_local.properties文件进行配置，主要是修改canal-admin的配置，修改完成后使用sh bin/startup.sh local重启canal-server：

# register ipncanal.register.ip =nn# canal admin configncanal.admin.manager = 127.0.0.1:8089ncanal.admin.port = 11110ncanal.admin.user = adminncanal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441n# admin auto registerncanal.admin.register.auto = truencanal.admin.register.cluster = n复制代码

  • 使用startup.sh脚本启动canal-admin服务；

sh bin/startup.shn复制代码

  • 启动成功后可使用如下命令查看服务日志信息；

tail -f logs/admin.logn复制代码

020-10-27 10:15:04.210 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"]n2020-10-27 10:15:04.308 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/readn2020-10-27 10:15:04.534 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path ''n2020-10-27 10:15:04.573 [main] INFO com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 31.203 seconds (JVM running for 34.865)n复制代码

  • 访问canal-admin的Web界面，输入账号密码admin:123456即可登录，访问地址：http://192.168.3.101:8089


  • 登录成功后即可使用Web界面操作canal-server。

相关文章