Clickhouse-server与MySQL实时复制配置引擎MaterializeMySQL

摘要: 数据复制原理:ClickHouse 可以挂载为 MySQL 的一个从库 ,先全量再增量的实时同步 MySQL 数据,基于它我们可以轻松的打造一套企业级解决方案,让 OLTP 和 OLAP 的融合。目前支持 MySQL 5.6/5.7/8.0 版本,兼容 Delete/Update 语句,及大部分常用的 DDL 操作。安装软件版本:[root@node220 clickhouse-server]# rpm -qa | grep clickhouseclickhouse-server-20.10.3.30-2.

 Redis数据导入导出

摘要:安装redis-dumpredis-dump是基于ruby开发,需要ruby环境,而且新版本的redis-dump要求2.2.2以上的ruby版本,centos中yum只能安装2.0版本的ruby。需要先安装ruby的管理工具rvm安装高版本的ruby安装rvm可参考官网:http://rvm.io/执行下列两个命令安装rvm;# gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D69

 MySQL表中即使有索引也无法使用情况

摘要:最左前缀匹配原则MySQL 会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配。所以要尽量把这些条件放在最后,把“=”条件放在前面。举例如下:反例,不会用到 b 列的索引:select * from xttblog where a=1 and c>0 and b=2正例,会用到 b 列的索引:select * from xttblog where a=1 and b=2 and c>0在索引选择上,尽量选择区分度高的列作为索引,区

 benchyou-基本MySQL线上业务的DML压力测试软件

摘要:gitlab仓库地址:gitlab:https://github.com/xelabs/benchyou.git Linux系统环境:[root@node221 ~]# uname -aLinux node221 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux[root@node221 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core) GO语言环境配置:(略)go 语言版本:[root@node221 ~]# go versi

 通过Zabbix-5.0.1监控Clickhouse-server配置详解

摘要:一、配置环境:system:[root@clickhouse zabbix_agentd.d]# uname -aLinux clickhouse 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux[root@clickhouse zabbix_agentd.d]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core) zabbix-server[agent]: 5.0.1clickhouse-server 20.11.4.13-2.noarch二、前期准备1)xml

 防止SSH被暴力破解软件-DenyHosts

摘要:原理:1. 对/var/log/secure日志文件进行分析,查找所有的登录尝试,并且过滤出失败和成功的尝试。2.记录下所有失败的登录尝试的用户名和主机,如果超过阀值,则记录主机。3.保持对每一个登录失败的用户(存在系统中或不存在系统中的用户)的跟踪4.对每一个可疑的登录进行跟踪。(虽然登录成功,但是有很多次登录失败的记录)5.将可疑地址的主机加入到/etc/hosts.deny文件中。D

 使用Zabbix监控RabbitMQ消息队列

摘要:本项目脚本下载地址:https://github.com/jasonmcintosh/rabbitmq-zabbix  下载文件解压          mkdir -p /etc/zabbix/scripts/rabbitmq       unzip rabbitmq-zabbix-master.zip        [root@node110 ~]# cd rabbitmq-zabbix-master/        [root@node110 rabbitmq-zabbix-master]#

 一个技术总监的忠告:精通那么多技术,你为何还是受不到重用?

摘要:本文转载自微信公众号「四猿外」,作者四猿外 。转载本文请联系四猿外公众号。这篇文章我们继续说架构师大刘的故事:老田升职了,年薪涨到了百万级别!这是大刘在加班搞技术攻坚的时候,听别的同事聊了那么一嘴。大刘心里不是滋味儿。老田和大刘其实在这家公司之前就是同事了,老田能到这家公司,说起来还是大刘推荐的。但是,在公司的这几年,老田越来越受领导赏识,到如今,晋

 MySQL中,21个写SQL的好习惯

摘要:每一个好习惯都是一笔财富,本文分SQL后悔药, SQL性能优化,SQL规范优雅三个方向,分享写SQL的21个好习惯,谢谢阅读,加油哈~1. 写完SQL先explain查看执行计划(SQL性能优化)日常开发写SQL的时候,尽量养成这个好习惯呀:写完SQL后,用explain分析一下,尤其注意走不走索引。  explain select * from user where userid =10086 or age =18;  2、操作delete或者u

 Bifrost面向生产环境的 MySQL 同步到Redis,ClickHouse等服务的异构中间件

摘要: Bifrost 可以将 你 MySQL 里的数据,实时的同步到 :RedisMongoDBClickHouseMySQLMemcaheRabbitMQActiveMQKafkaHttp 自定义服务Hprose RPC 自定义服务WIKI : https://wiki.xbifrost.comBifrost 特点支持 MySQL 所有存储类型界面化动态灵活配置不同的数据表及目标库多数据源,多种目标库支持同时支持 增量 及 全量 数据同步宕机后重启自动恢复配置,位点精确控制支持自定义插件

 Clickhouse-server增量同步复制MySQL数据详解

摘要:数据复制原理:ClickHouse 可以挂载为 MySQL 的一个从库 ,先全量再增量的实时同步 MySQL 数据,基于它我们可以轻松的打造一套企业级解决方案,让 OLTP 和 OLAP 的融合。 目前支持 MySQL 5.6/5.7/8.0 版本,兼容Delete/Update 语句,及大部分常用的 DDL 操作。  安装软件版本:[root@node220 clickhouse-server]# rpm -qa | grepclickhouse clickhouse-server-20.10.3.30-2

 MySQL在线做主从同步配置步骤

摘要:某年某月某天,线上主从由于误操作,主从数据不一致了,以下方法将演示在线做主从的方法:如果发现主从数据不一致,先将连接从库的在代码上修改成直接连接主库,要等待从库没有流量过来以后,再做主从数据同步1.在从库上,重置从库的slave配置:STOP SLAVERESET SLAVE; 或者 reset slave all;2.在主库上执行数据库全库备份:mysqldump --master-data=2 --single-transaction --a

 Linux伤不起的OOM,进程避免被OOM的方法

摘要:线上系统CPU,内存,硬件占用都很底,但就是会死机,SSH都无法连接,通过/var/log/messages查看到很多oom-killer的输出,原来单个进程占用太多的内存,被内核无情的KILL掉了,哎...赶紧脑补一下OOM:Linux 内核有个机制叫OOM killer(Out-Of-Memory killer),该机制会监控那些占用内存过大,尤其是瞬间很快消耗大量内存的进程,为了防止内存耗尽而内核会把该进程杀掉。典型的情况

 MySQL数据丢失闪回技术-DBA的一剂救命良药

摘要:binlog2sql从MySQL binlog解析出你要的SQL。根据不同选项,你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。用途·数据快速回滚(闪回)·主从切换后新master丢数据的修复·从binlog生成标准SQL,带来的衍生功能·环境要求 CentOS 7.x Python 2.7, 3.4+ MySQL 5.6, 5.7安装shell> gitclone https://github.com/danfengcao/binlog2sql.git && cd

 MySQL GTID主从复制不一致故障处理

摘要:主从数据重复是指,在从库有一条数据,在主库又执行了同一条语句,导致从主库同步的数据传到从库后发生错误,因为从库也有同一条数据,这时处时方法如下:表结构: show create table test;+-------+------------------------------------------------------------------------------------------------------------+| Table | Create Table         

 MySQL8.0新特性-CTE,generated column,window function

摘要:CTE-公用表表达式CTE包括递归和非递归两种公用表达式允许使用命令的临时结果集,这是通过允许在SELECT语句和某些其他语句前面使用WITH子句来实现的为什么需要CTE不能在同一查询中两次引用派生表,因为那样的话,查询会根据派生表的引用次数计算两次或多次,这会引发严重的性能问题。 使用CTE后,子查询只会计算一次非递归CTE公用表表达式( CTE)与派生表类似,但它的声明会放在

 MySQL传输表空间-让你的数据飙起来

摘要:如果有一张100G的单表或分区表,研发要求在1-2个小时内将表数据迁移到另一台数据库上,你会怎么做?如果用传统的导入导出,基本完成不了任务,还好有传输表空间这个工具,可以帮上忙:普通表数据迁移:1.目标端创建与源同样的表结构CREATE TABLE `test` (      `id` int(11) DEFAULT NULL    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;2.目标端保留.frm文

 MySQL基准测试工具Sysbench安装配置详解

摘要:安装:- RHEL/CentOS:  ``` shell  curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash    yum -y install sysbench测试的脚本目录 :[test@node232 sysbench]# pwd/usr/share/sysbench[test@node232 sysbench]# lsbulk_insert.lua  oltp_insert.lua        oltp_read_write.lu

 MySQL查看表中指定索引的高度

摘要:查看表中指定索引的高度:索引层数的表示法:索引中每个页的结构图:page Header中有个page level的值,这个值保存这个B+树的高度值,由于B+树从0开始算,所以B+树的高度=page level的值再加1由于B+树中是从root页开始查找数据,而root页中的page header中的page level中存储这颗B+树的高度值,所以下面需要查找到指定索引的root页的page_no查找索引树中的root页的位置:查看指

 Innodb存储引擎4大特性

摘要:Innodb存储引擎特性: DoubleWriteInsert/Change BufferAdaptive Hash IndexFlush neighbor page DoubleWrite:(root@DB)[information_schema]> showvariables like &apos;%double%&apos;     -> ; +--------------------+-------+ | Variable_name      | Value | +--------------------+-------+ | innodb_doublewrite | ON 
分页:« 1 2 3 4 5 6 7 8 9 10 »
Powered by AKCMS