使用Zabbix监控RabbitMQ消息队列

摘要:本项目脚本下载地址:https://github.com/jasonmcintosh/rabbitmq-zabbix  下载文件解压          mkdir -p /etc/zabbix/scripts/rabbitmq       unzip rabbitmq-zabbix-master.zip        [root@node110 ~]# cd rabbitmq-zabbix-master/        [root@node110 rabbitmq-zabbix-master]#

 一个技术总监的忠告:精通那么多技术,你为何还是受不到重用?

摘要:本文转载自微信公众号「四猿外」,作者四猿外 。转载本文请联系四猿外公众号。这篇文章我们继续说架构师大刘的故事:老田升职了,年薪涨到了百万级别!这是大刘在加班搞技术攻坚的时候,听别的同事聊了那么一嘴。大刘心里不是滋味儿。老田和大刘其实在这家公司之前就是同事了,老田能到这家公司,说起来还是大刘推荐的。但是,在公司的这几年,老田越来越受领导赏识,到如今,晋

 MySQL中,21个写SQL的好习惯

摘要:每一个好习惯都是一笔财富,本文分SQL后悔药, SQL性能优化,SQL规范优雅三个方向,分享写SQL的21个好习惯,谢谢阅读,加油哈~1. 写完SQL先explain查看执行计划(SQL性能优化)日常开发写SQL的时候,尽量养成这个好习惯呀:写完SQL后,用explain分析一下,尤其注意走不走索引。  explain select * from user where userid =10086 or age =18;  2、操作delete或者u

 Bifrost面向生产环境的 MySQL 同步到Redis,ClickHouse等服务的异构中间件

摘要: Bifrost 可以将 你 MySQL 里的数据,实时的同步到 :RedisMongoDBClickHouseMySQLMemcaheRabbitMQActiveMQKafkaHttp 自定义服务Hprose RPC 自定义服务WIKI : https://wiki.xbifrost.comBifrost 特点支持 MySQL 所有存储类型界面化动态灵活配置不同的数据表及目标库多数据源,多种目标库支持同时支持 增量 及 全量 数据同步宕机后重启自动恢复配置,位点精确控制支持自定义插件

 Clickhouse-server增量同步复制MySQL数据详解

摘要:数据复制原理:ClickHouse 可以挂载为 MySQL 的一个从库 ,先全量再增量的实时同步 MySQL 数据,基于它我们可以轻松的打造一套企业级解决方案,让 OLTP 和 OLAP 的融合。 目前支持 MySQL 5.6/5.7/8.0 版本,兼容Delete/Update 语句,及大部分常用的 DDL 操作。  安装软件版本:[root@node220 clickhouse-server]# rpm -qa | grepclickhouse clickhouse-server-20.10.3.30-2

 MySQL在线做主从同步配置步骤

摘要:某年某月某天,线上主从由于误操作,主从数据不一致了,以下方法将演示在线做主从的方法:如果发现主从数据不一致,先将连接从库的在代码上修改成直接连接主库,要等待从库没有流量过来以后,再做主从数据同步1.在从库上,重置从库的slave配置:STOP SLAVERESET SLAVE; 或者 reset slave all;2.在主库上执行数据库全库备份:mysqldump --master-data=2 --single-transaction --a

 Linux伤不起的OOM,进程避免被OOM的方法

摘要:线上系统CPU,内存,硬件占用都很底,但就是会死机,SSH都无法连接,通过/var/log/messages查看到很多oom-killer的输出,原来单个进程占用太多的内存,被内核无情的KILL掉了,哎...赶紧脑补一下OOM:Linux 内核有个机制叫OOM killer(Out-Of-Memory killer),该机制会监控那些占用内存过大,尤其是瞬间很快消耗大量内存的进程,为了防止内存耗尽而内核会把该进程杀掉。典型的情况

 MySQL数据丢失闪回技术-DBA的一剂救命良药

摘要:binlog2sql从MySQL binlog解析出你要的SQL。根据不同选项,你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。用途·数据快速回滚(闪回)·主从切换后新master丢数据的修复·从binlog生成标准SQL,带来的衍生功能·环境要求 CentOS 7.x Python 2.7, 3.4+ MySQL 5.6, 5.7安装shell> gitclone https://github.com/danfengcao/binlog2sql.git && cd

 MySQL GTID主从复制不一致故障处理

摘要:主从数据重复是指,在从库有一条数据,在主库又执行了同一条语句,导致从主库同步的数据传到从库后发生错误,因为从库也有同一条数据,这时处时方法如下:表结构: show create table test;+-------+------------------------------------------------------------------------------------------------------------+| Table | Create Table         

 MySQL8.0新特性-CTE,generated column,window function

摘要:CTE-公用表表达式CTE包括递归和非递归两种公用表达式允许使用命令的临时结果集,这是通过允许在SELECT语句和某些其他语句前面使用WITH子句来实现的为什么需要CTE不能在同一查询中两次引用派生表,因为那样的话,查询会根据派生表的引用次数计算两次或多次,这会引发严重的性能问题。 使用CTE后,子查询只会计算一次非递归CTE公用表表达式( CTE)与派生表类似,但它的声明会放在

 MySQL传输表空间-让你的数据飙起来

摘要:如果有一张100G的单表或分区表,研发要求在1-2个小时内将表数据迁移到另一台数据库上,你会怎么做?如果用传统的导入导出,基本完成不了任务,还好有传输表空间这个工具,可以帮上忙:普通表数据迁移:1.目标端创建与源同样的表结构CREATE TABLE `test` (      `id` int(11) DEFAULT NULL    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;2.目标端保留.frm文

 MySQL基准测试工具Sysbench安装配置详解

摘要:安装:- RHEL/CentOS:  ``` shell  curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash    yum -y install sysbench测试的脚本目录 :[test@node232 sysbench]# pwd/usr/share/sysbench[test@node232 sysbench]# lsbulk_insert.lua  oltp_insert.lua        oltp_read_write.lu

 MySQL查看表中指定索引的高度

摘要:查看表中指定索引的高度:索引层数的表示法:索引中每个页的结构图:page Header中有个page level的值,这个值保存这个B+树的高度值,由于B+树从0开始算,所以B+树的高度=page level的值再加1由于B+树中是从root页开始查找数据,而root页中的page header中的page level中存储这颗B+树的高度值,所以下面需要查找到指定索引的root页的page_no查找索引树中的root页的位置:查看指

 Innodb存储引擎4大特性

摘要:Innodb存储引擎特性: DoubleWriteInsert/Change BufferAdaptive Hash IndexFlush neighbor page DoubleWrite:(root@DB)[information_schema]> showvariables like '%double%'     -> ; +--------------------+-------+ | Variable_name      | Value | +--------------------+-------+ | innodb_doublewrite | ON 

 clickhouse从MySQL全量同步数据shell脚本

摘要:[root@node99 shell_scripts]# cat rsync_from_mysql_to_clickhouse.sh#!/bin/bashSOURCE_DB_SCHEMA="hexin"SOURCE_TABLE=(hexin_uuid hexin_work_bar)for i in  ${SOURCE_TABLE[*]}do        echo "Current table:${i}"        /usr/bin/clickhouse-client --database $SOURCE_DB_SCHEMA --query "sel

 mysql2ch-0.5.3-clickhouse从MySQL增量时时同步数据

摘要:介绍mysql2ch 是一个用于同步 MySQL 到 ClickHouse 的工具,支持全量同步与增量同步。特性支持全量同步与增量同步。支持 DDL 与 DML,当前支持 DDL 字段新增与删除,支持所有的 DML。丰富的配置项。依赖软件版本kafka-2.1.0,用户缓冲 MySQL binlog 的消息队列。需要先安装好redis-5.0.6,缓存 MySQL binlog position 与 file。需要先安装好Python 3.6.8 运行环境安装pip3 inst

 战斗民族开源OLAP利器-ClickHouse列式数据库安装配置

摘要:安装前准备:单机版和集群版都需要配置:在/etc/security/limits.conf,/etc/security/limits.d/90-nproc.conf,在2个文件的末尾加入以下内容:vim  /etc/security/limits.conf* soft nofile 65535* hard nofile 65535* soft nproc  131072* hard nproc 131072vim /etc/security/limits.d/90-nproc.conf* soft nofile 65535* hard nofile 65535* soft nproc  1310

 MySQL-通过SSL加密连接数据库详解

摘要: 默认创建的用户,既可以通过帐号密码登录,也可以通过--SSL来登录,还可以通过密钥来登录 查看当前数据库是否启用SSL: [5.7之后默认启动,5.6需要手动启动](root@DB)[(none)]> show variables like'%ssl%'     -> ; +---------------+-----------------+ | Variable_name | Value          | +---

 号外号外:一个“锁表”损失800万,运维被判5年半

摘要:近日,云头条发布的“一个违规操作、损失 800 万、被判五年半:运维夏某某致郑大一附院智慧医院系统瘫痪 2 个小时,判破坏计算机信息系统罪”一文引发了技术圈的热议。 事件经过夏某某任职北京中科某某科技有限公司,负责该公司为郑大一附院开发的“软件信息系统”的维护工作。2017 年 10 月 31 日 20 时许,夏某某参与并直接操作了郑大一附院“HIS 数据库”的账号密码修改

 UNDO段的原理以及自动UNDO段管理

摘要:undo和redo   undo 用于撤销修改的操作(事务回滚)  rollforeword     redo用于将数据的修改重演一遍(恢复) rollback    UNDO的目的  事务的回滚  实例的恢复  提供查询的一致性读  显式开启一个事务:SQL> create table t (id int ) SQL> begin   2  insert into t value
分页:« 1 2 3 4 5 6 7 8 9 10 »
Powered by AKCMS