MySQL GTID主从复制不一致故障处理

摘要:主从数据重复是指,在从库有一条数据,在主库又执行了同一条语句,导致从主库同步的数据传到从库后发生错误,因为从库也有同一条数据,这时处时方法如下:表结构: show create table test;+-------+------------------------------------------------------------------------------------------------------------+| Table | Create Table         

 MySQL8.0新特性-CTE,generated column,window function

摘要:CTE-公用表表达式CTE包括递归和非递归两种公用表达式允许使用命令的临时结果集,这是通过允许在SELECT语句和某些其他语句前面使用WITH子句来实现的为什么需要CTE不能在同一查询中两次引用派生表,因为那样的话,查询会根据派生表的引用次数计算两次或多次,这会引发严重的性能问题。 使用CTE后,子查询只会计算一次非递归CTE公用表表达式( CTE)与派生表类似,但它的声明会放在

 MySQL传输表空间-让你的数据飙起来

摘要:如果有一张100G的单表或分区表,研发要求在1-2个小时内将表数据迁移到另一台数据库上,你会怎么做?如果用传统的导入导出,基本完成不了任务,还好有传输表空间这个工具,可以帮上忙:普通表数据迁移:1.目标端创建与源同样的表结构CREATE TABLE `test` (      `id` int(11) DEFAULT NULL    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;2.目标端保留.frm文

 MySQL基准测试工具Sysbench安装配置详解

摘要:安装:- RHEL/CentOS:  ``` shell  curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash    yum -y install sysbench测试的脚本目录 :[test@node232 sysbench]# pwd/usr/share/sysbench[test@node232 sysbench]# lsbulk_insert.lua  oltp_insert.lua        oltp_read_write.lu

 MySQL查看表中指定索引的高度

摘要:查看表中指定索引的高度:索引层数的表示法:索引中每个页的结构图:page Header中有个page level的值,这个值保存这个B+树的高度值,由于B+树从0开始算,所以B+树的高度=page level的值再加1由于B+树中是从root页开始查找数据,而root页中的page header中的page level中存储这颗B+树的高度值,所以下面需要查找到指定索引的root页的page_no查找索引树中的root页的位置:查看指

 Innodb存储引擎4大特性

摘要:Innodb存储引擎特性: DoubleWriteInsert/Change BufferAdaptive Hash IndexFlush neighbor page DoubleWrite:(root@DB)[information_schema]> showvariables like '%double%'     -> ; +--------------------+-------+ | Variable_name      | Value | +--------------------+-------+ | innodb_doublewrite | ON 

 clickhouse从MySQL全量同步数据shell脚本

摘要:[root@node99 shell_scripts]# cat rsync_from_mysql_to_clickhouse.sh#!/bin/bashSOURCE_DB_SCHEMA="hexin"SOURCE_TABLE=(hexin_uuid hexin_work_bar)for i in  ${SOURCE_TABLE[*]}do        echo "Current table:${i}"        /usr/bin/clickhouse-client --database $SOURCE_DB_SCHEMA --query "sel

 mysql2ch-0.5.3-clickhouse从MySQL增量时时同步数据

摘要:介绍mysql2ch 是一个用于同步 MySQL 到 ClickHouse 的工具,支持全量同步与增量同步。特性支持全量同步与增量同步。支持 DDL 与 DML,当前支持 DDL 字段新增与删除,支持所有的 DML。丰富的配置项。依赖软件版本kafka-2.1.0,用户缓冲 MySQL binlog 的消息队列。需要先安装好redis-5.0.6,缓存 MySQL binlog position 与 file。需要先安装好Python 3.6.8 运行环境安装pip3 inst

 战斗民族开源OLAP利器-ClickHouse列式数据库安装配置

摘要:安装前准备:单机版和集群版都需要配置:在/etc/security/limits.conf,/etc/security/limits.d/90-nproc.conf,在2个文件的末尾加入以下内容:vim  /etc/security/limits.conf* soft nofile 65535* hard nofile 65535* soft nproc  131072* hard nproc 131072vim /etc/security/limits.d/90-nproc.conf* soft nofile 65535* hard nofile 65535* soft nproc  1310

 MySQL-通过SSL加密连接数据库详解

摘要: 默认创建的用户,既可以通过帐号密码登录,也可以通过--SSL来登录,还可以通过密钥来登录 查看当前数据库是否启用SSL: [5.7之后默认启动,5.6需要手动启动](root@DB)[(none)]> show variables like'%ssl%'     -> ; +---------------+-----------------+ | Variable_name | Value          | +---

 号外号外:一个“锁表”损失800万,运维被判5年半

摘要:近日,云头条发布的“一个违规操作、损失 800 万、被判五年半:运维夏某某致郑大一附院智慧医院系统瘫痪 2 个小时,判破坏计算机信息系统罪”一文引发了技术圈的热议。 事件经过夏某某任职北京中科某某科技有限公司,负责该公司为郑大一附院开发的“软件信息系统”的维护工作。2017 年 10 月 31 日 20 时许,夏某某参与并直接操作了郑大一附院“HIS 数据库”的账号密码修改

 UNDO段的原理以及自动UNDO段管理

摘要:undo和redo   undo 用于撤销修改的操作(事务回滚)  rollforeword     redo用于将数据的修改重演一遍(恢复) rollback    UNDO的目的  事务的回滚  实例的恢复  提供查询的一致性读  显式开启一个事务:SQL> create table t (id int ) SQL> begin   2  insert into t value

 PHP-FPM child exited on signal 7 异常退出完美解决方法

摘要:某个子站是php写的,访问的时候nginx时不时会冒出现502错误,高峰时更频繁,检查php-fpm的日志发现大量的 child exited on signal 7 (SIGBUS),并且和accesslog里的502时间完全吻合,排除了php进程过载的可能,然后又排除了apc的嫌疑。 1,安装straceyum install strace -y2,查看php-fpm进程vagrant@vagrant-ubuntu-precise-64:~$ ps -ef | grep php-fpmroot   

 MYSQL5.7.18 数据库物理增量备份恢复脚本(xtrabackup2.4.20)

摘要:功能说明:整套功能需要 三个脚本 innobackupex_all.sh、innobackupex_increment.sh、innobackupex_restore.sh我们知道xtrabackup可以第一次备份全量数据,之后设置增量备份。Linux crontab以数字0-6表示”周日”-“周六”。所以,我以一周为周期:周日进行全备,存放于0目录;周一至周六增备,存放于1-6目录;下次周日清空目录重新全备。上面以0-6这样的目录名存放备份数据,是

 Oracle-重做日志文件详解

摘要:日志文件的状态:SQL> select group#,status from v$log;    GROUP# STATUS---------- ----------------         1 INACTIVE         2 INACTIVE        #表示日志文件的数据在实例恢复时不需要这个数据文件         3 CURRENT        &nbs

 Oracle-参数文件详解

摘要:参数文件的作用:控制程序的行为或者是功能的开关,性能的约束,控制实例的运行设定数据库的限制设定用户或进程的限制设定数据库资源的限制设定系统的性能几个常用的参数文件:SGA_TARGET        Oracle内存的区域PGA_AGGREGATE_TARGET        PGA总合的大小DB_CACHE_SIZE        数据库缓存的大小DB_FILES 

 Oracle-控制文件详解

摘要:控制文件至少包含以上的信息:1.数据库名称DBID2.数据库建立的时间3.数据文件,在线日志文件,归档文件的信息4.表空间信息5.RMAN的备份信息控制文件的作用:它包含数据文件,在线日志文件,归档文件的信息,这些信息用于数据库OPEN时的文件验证        当数据库的架构改变时,比如增减,删除文件时,会更新控制文件包含了数据库恢复时候需要的一些信息,用

 MongoDBv4.0.18 Sharding 高可用集群搭建 (CentOS7.2)全网独有

摘要:从图中可以看到有四个组件:mongos、config server、shard、replica set。mongos,数据库集群请求的入口,所有的请求都通过mongos进行协调,不需要在应用程序添加一个路由选择器,mongos自己就是一个请求分发中心,它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口,防止其中一个挂掉所有的mongodb请求都没有办法操作。config se

 MongoDBv4.0.18 replica set 高可用集群搭建 (CentOS7.6)全网独有

摘要:单节点mongodb软件安装配置:配置环境: [root@node250 ~]# uname -a Linux node250 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux [root@node250 ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 节点功能清单: 功能节点       主机名:    &n

 CentOS6,CentOS7 源码编译安装svn-1.6.11

摘要:参考文档:官方安装文档,安装方法已经制作成一键安装脚本位于码云。git clone https://gitee.com/vazd/subversion-installer.git运行install_svn.sh即可完成安装。一、安装必备组件依赖项:yum install autoconf libtool expat-devel -y1.1 安装apr和apr-utilapr全名Apache Portable Runtime,必需的依赖项。下载地址:apr和apr-util下载地址# 安装aprwget http://mirrors.tun
分页:« 1 2 3 4 5 6 7 8 9 10 »
Powered by AKCMS