阮胜昌的技术记录站-LinuxMySQL数据库运维

2020年10月29日

Clickhouse-server增量同步复制MySQL数据详解

摘要：数据复制原理：ClickHouse 可以挂载为 MySQL 的一个从库，先全量再增量的实时同步 MySQL 数据,基于它我们可以轻松的打造一套企业级解决方案，让 OLTP 和 OLAP 的融合。目前支持 MySQL 5.6/5.7/8.0 版本，兼容Delete/Update 语句，及大部分常用的 DDL 操作。安装软件版本：[root@node220 clickhouse-server]# rpm -qa | grepclickhouse clickhouse-server-20.10.3.30-2

2020年10月10日

MySQL在线做主从同步配置步骤

摘要：某年某月某天，线上主从由于误操作，主从数据不一致了，以下方法将演示在线做主从的方法：如果发现主从数据不一致，先将连接从库的在代码上修改成直接连接主库，要等待从库没有流量过来以后，再做主从数据同步1.在从库上,重置从库的slave配置：STOP SLAVERESET SLAVE; 或者 reset slave all;2.在主库上执行数据库全库备份：mysqldump --master-data=2 --single-transaction --a

2020年09月29日

Linux伤不起的OOM，进程避免被OOM的方法

摘要：线上系统CPU,内存，硬件占用都很底，但就是会死机，SSH都无法连接，通过/var/log/messages查看到很多oom-killer的输出，原来单个进程占用太多的内存，被内核无情的KILL掉了，哎...赶紧脑补一下OOM:Linux 内核有个机制叫OOM killer（Out-Of-Memory killer），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽而内核会把该进程杀掉。典型的情况

2020年09月15日

MySQL数据丢失闪回技术-DBA的一剂救命良药

摘要：binlog2sql从MySQL binlog解析出你要的SQL。根据不同选项，你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。用途·数据快速回滚(闪回)·主从切换后新master丢数据的修复·从binlog生成标准SQL，带来的衍生功能·环境要求 CentOS 7.x Python 2.7, 3.4+ MySQL 5.6, 5.7安装shell> gitclone https://github.com/danfengcao/binlog2sql.git && cd

2020年09月09日

MySQL GTID主从复制不一致故障处理

摘要：主从数据重复是指，在从库有一条数据，在主库又执行了同一条语句，导致从主库同步的数据传到从库后发生错误，因为从库也有同一条数据，这时处时方法如下：表结构： show create table test;+-------+------------------------------------------------------------------------------------------------------------+| Table | Create Table

2020年09月02日

MySQL8.0新特性-CTE,generated column,window function

摘要：CTE-公用表表达式CTE包括递归和非递归两种公用表达式允许使用命令的临时结果集，这是通过允许在SELECT语句和某些其他语句前面使用WITH子句来实现的为什么需要CTE不能在同一查询中两次引用派生表，因为那样的话，查询会根据派生表的引用次数计算两次或多次，这会引发严重的性能问题。使用CTE后，子查询只会计算一次非递归CTE公用表表达式（ CTE）与派生表类似，但它的声明会放在

2020年08月27日

MySQL传输表空间-让你的数据飙起来

摘要：如果有一张100G的单表或分区表，研发要求在1-2个小时内将表数据迁移到另一台数据库上，你会怎么做？如果用传统的导入导出，基本完成不了任务，还好有传输表空间这个工具,可以帮上忙：普通表数据迁移：1.目标端创建与源同样的表结构CREATE TABLE `test` ( `id` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8;2.目标端保留.frm文

2020年08月11日

MySQL基准测试工具Sysbench安装配置详解

摘要：安装：- RHEL/CentOS: ``` shell curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash yum -y install sysbench测试的脚本目录：[test@node232 sysbench]# pwd/usr/share/sysbench[test@node232 sysbench]# lsbulk_insert.lua oltp_insert.lua oltp_read_write.lu

2020年07月28日

MySQL查看表中指定索引的高度

摘要：查看表中指定索引的高度：索引层数的表示法：索引中每个页的结构图：page Header中有个page level的值，这个值保存这个B+树的高度值，由于B+树从0开始算，所以B+树的高度=page level的值再加1由于B+树中是从root页开始查找数据，而root页中的page header中的page level中存储这颗B+树的高度值，所以下面需要查找到指定索引的root页的page_no查找索引树中的root页的位置：查看指

2020年07月24日

Innodb存储引擎4大特性

摘要：Innodb存储引擎特性： DoubleWriteInsert/Change BufferAdaptive Hash IndexFlush neighbor page DoubleWrite:(root@DB)[information_schema]> showvariables like '%double%' -> ; +--------------------+-------+ | Variable_name | Value | +--------------------+-------+ | innodb_doublewrite | ON

2020年07月23日

clickhouse从MySQL全量同步数据shell脚本

摘要：[root@node99 shell_scripts]# cat rsync_from_mysql_to_clickhouse.sh#!/bin/bashSOURCE_DB_SCHEMA="hexin"SOURCE_TABLE=(hexin_uuid hexin_work_bar)for i in ${SOURCE_TABLE[*]}do echo "Current table:${i}" /usr/bin/clickhouse-client --database $SOURCE_DB_SCHEMA --query "sel

2020年07月14日

mysql2ch-0.5.3-clickhouse从MySQL增量时时同步数据

摘要：介绍mysql2ch 是一个用于同步 MySQL 到 ClickHouse 的工具，支持全量同步与增量同步。特性支持全量同步与增量同步。支持 DDL 与 DML，当前支持 DDL 字段新增与删除，支持所有的 DML。丰富的配置项。依赖软件版本kafka-2.1.0，用户缓冲 MySQL binlog 的消息队列。需要先安装好redis-5.0.6，缓存 MySQL binlog position 与 file。需要先安装好Python 3.6.8 运行环境安装pip3 inst

2020年07月14日

战斗民族开源OLAP利器-ClickHouse列式数据库安装配置

摘要：安装前准备：单机版和集群版都需要配置：在/etc/security/limits.conf,/etc/security/limits.d/90-nproc.conf,在2个文件的末尾加入以下内容：vim /etc/security/limits.conf* soft nofile 65535* hard nofile 65535* soft nproc 131072* hard nproc 131072vim /etc/security/limits.d/90-nproc.conf* soft nofile 65535* hard nofile 65535* soft nproc 1310

2020年06月17日

MySQL-通过SSL加密连接数据库详解

摘要：默认创建的用户，既可以通过帐号密码登录，也可以通过--SSL来登录，还可以通过密钥来登录查看当前数据库是否启用SSL: [5.7之后默认启动，5.6需要手动启动](root@DB)[(none)]> show variables like'%ssl%' -> ; +---------------+-----------------+ | Variable_name | Value | +---

2020年05月13日

号外号外：一个“锁表”损失800万，运维被判5年半

摘要：近日，云头条发布的“一个违规操作、损失 800 万、被判五年半：运维夏某某致郑大一附院智慧医院系统瘫痪 2 个小时，判破坏计算机信息系统罪”一文引发了技术圈的热议。事件经过夏某某任职北京中科某某科技有限公司，负责该公司为郑大一附院开发的“软件信息系统”的维护工作。2017 年 10 月 31 日 20 时许，夏某某参与并直接操作了郑大一附院“HIS 数据库”的账号密码修改

2020年05月13日

UNDO段的原理以及自动UNDO段管理

摘要：undo和redo undo 用于撤销修改的操作（事务回滚） rollforeword redo用于将数据的修改重演一遍（恢复） rollback UNDO的目的事务的回滚实例的恢复提供查询的一致性读显式开启一个事务：SQL> create table t (id int ) SQL> begin 2 insert into t value

2020年05月11日

PHP-FPM child exited on signal 7 异常退出完美解决方法

摘要：某个子站是php写的，访问的时候nginx时不时会冒出现502错误，高峰时更频繁，检查php-fpm的日志发现大量的 child exited on signal 7 (SIGBUS)，并且和accesslog里的502时间完全吻合，排除了php进程过载的可能，然后又排除了apc的嫌疑。 1，安装straceyum install strace -y2，查看php-fpm进程vagrant@vagrant-ubuntu-precise-64:~$ ps -ef | grep php-fpmroot

2020年05月09日

MYSQL5.7.18 数据库物理增量备份恢复脚本（xtrabackup2.4.20）

摘要：功能说明：整套功能需要三个脚本 innobackupex_all.sh、innobackupex_increment.sh、innobackupex_restore.sh我们知道xtrabackup可以第一次备份全量数据，之后设置增量备份。Linux crontab以数字0-6表示”周日”-“周六”。所以，我以一周为周期：周日进行全备，存放于0目录；周一至周六增备，存放于1-6目录；下次周日清空目录重新全备。上面以0-6这样的目录名存放备份数据，是

2020年05月03日

Oracle-重做日志文件详解

摘要：日志文件的状态：SQL> select group#,status from v$log; GROUP# STATUS---------- ---------------- 1 INACTIVE 2 INACTIVE #表示日志文件的数据在实例恢复时不需要这个数据文件 3 CURRENT &nbs

2020年05月03日

Oracle-参数文件详解

摘要：参数文件的作用：控制程序的行为或者是功能的开关，性能的约束,控制实例的运行设定数据库的限制设定用户或进程的限制设定数据库资源的限制设定系统的性能几个常用的参数文件：SGA_TARGET Oracle内存的区域PGA_AGGREGATE_TARGET PGA总合的大小DB_CACHE_SIZE 数据库缓存的大小DB_FILES

分页：« 6 7 8 9 10 11 12 13 14 15 »

2020年10月29日

分类:DataBase

2020年10月10日

分类:DataBase

2020年09月29日

分类:系统管理

2020年09月15日

分类:DataBase

2020年09月09日

分类:DataBase

2020年09月02日

分类:DataBase

2020年08月27日

分类:DataBase

2020年08月11日

分类:DataBase

2020年07月28日

分类:DataBase

2020年07月24日

分类:DataBase

2020年07月23日

分类:DataBase

2020年07月14日

分类:DataBase

2020年07月14日

分类:系统管理

2020年06月17日

分类:DataBase

2020年05月13日

分类:Linux世界

2020年05月13日

分类:DataBase

2020年05月11日

分类:LANMPT

2020年05月09日

分类:DataBase

2020年05月03日

分类:DataBase

2020年05月03日

分类:DataBase

关于我

站内搜索

联系我

内容分类

最火博文

最新评论

友情链接