摘要:[root@node99 shell_scripts]# cat rsync_from_mysql_to_clickhouse.sh#!/bin/bashSOURCE_DB_SCHEMA="hexin"SOURCE_TABLE=(hexin_uuid hexin_work_bar)for i in ${SOURCE_TABLE[*]}do echo "Current table:${i}" /usr/bin/clickhouse-client --database $SOURCE_DB_SCHEMA --query "sel
2020年07月14日
mysql2ch-0.5.3-clickhouse从MySQL增量时时同步数据
摘要:介绍mysql2ch 是一个用于同步 MySQL 到 ClickHouse 的工具,支持全量同步与增量同步。特性支持全量同步与增量同步。支持 DDL 与 DML,当前支持 DDL 字段新增与删除,支持所有的 DML。丰富的配置项。依赖软件版本kafka-2.1.0,用户缓冲 MySQL binlog 的消息队列。需要先安装好redis-5.0.6,缓存 MySQL binlog position 与 file。需要先安装好Python 3.6.8 运行环境安装pip3 inst
分类:DataBase
2020年06月17日
MySQL-通过SSL加密连接数据库详解
摘要: 默认创建的用户,既可以通过帐号密码登录,也可以通过--SSL来登录,还可以通过密钥来登录 查看当前数据库是否启用SSL: [5.7之后默认启动,5.6需要手动启动](root@DB)[(none)]> show variables like'%ssl%' -> ; +---------------+-----------------+ | Variable_name | Value | +---
分类:DataBase
2020年05月13日
UNDO段的原理以及自动UNDO段管理
摘要:undo和redo undo 用于撤销修改的操作(事务回滚) rollforeword redo用于将数据的修改重演一遍(恢复) rollback UNDO的目的 事务的回滚 实例的恢复 提供查询的一致性读 显式开启一个事务:SQL> create table t (id int ) SQL> begin 2 insert into t value
分类:DataBase
2020年05月09日
MYSQL5.7.18 数据库物理增量备份恢复脚本(xtrabackup2.4.20)
摘要:功能说明:整套功能需要 三个脚本 innobackupex_all.sh、innobackupex_increment.sh、innobackupex_restore.sh我们知道xtrabackup可以第一次备份全量数据,之后设置增量备份。Linux crontab以数字0-6表示”周日”-“周六”。所以,我以一周为周期:周日进行全备,存放于0目录;周一至周六增备,存放于1-6目录;下次周日清空目录重新全备。上面以0-6这样的目录名存放备份数据,是
分类:DataBase
2020年05月03日
Oracle-重做日志文件详解
摘要:日志文件的状态:SQL> select group#,status from v$log; GROUP# STATUS---------- ---------------- 1 INACTIVE 2 INACTIVE #表示日志文件的数据在实例恢复时不需要这个数据文件 3 CURRENT &nbs
分类:DataBase
2020年05月03日
Oracle-参数文件详解
摘要:参数文件的作用:控制程序的行为或者是功能的开关,性能的约束,控制实例的运行设定数据库的限制设定用户或进程的限制设定数据库资源的限制设定系统的性能几个常用的参数文件:SGA_TARGET Oracle内存的区域PGA_AGGREGATE_TARGET PGA总合的大小DB_CACHE_SIZE 数据库缓存的大小DB_FILES
分类:DataBase
2020年05月03日
Oracle-控制文件详解
摘要:控制文件至少包含以上的信息:1.数据库名称DBID2.数据库建立的时间3.数据文件,在线日志文件,归档文件的信息4.表空间信息5.RMAN的备份信息控制文件的作用:它包含数据文件,在线日志文件,归档文件的信息,这些信息用于数据库OPEN时的文件验证 当数据库的架构改变时,比如增减,删除文件时,会更新控制文件包含了数据库恢复时候需要的一些信息,用
分类:DataBase
2020年03月25日
MySQL性能优化实践全解
摘要:数据查询慢,不代表 SQL 语句写法有问题。 首先,我们需要找到问题的源头才能“对症下药”。无需更多言语,从图中可以清楚地看出,导致数据查询慢的原因有多种,如:缓存失效,在此一段时间内由于高并发访问导致 MySQL 服务器崩溃;SQL 语句编写问题;MySQL 服务器参数问题;硬件配置限制 MySQL 服务性能问题等。三、查看 MySQL 服务器运行的状态值如果系统的并发请求数不高,且
分类:DataBase
2020年01月18日
Goldengate之Mysql到Mysql的单向多表同步
摘要:在同一台服务器,同一个mysql实例中,使用Goldengate完成Mysql到Mysql的数据同步,源库的hexin库同步到目标库的product_center库,表名hexin_erp_product_supplier实验准备:系统: CentOS 6.9mysql版本 : 5.7.18mysql-1:192.168.67.151 库:hexin 表:hexin_erp_product_suppliermysql-2:192.168.67.151 库:hexin 表:hexin_erp_produc