SQL优化案例-通过添加主表的条件来影响优化器的行为

摘要:SQL语句:SELECT pai.*, pa.apply_no, pa.apply_type, pa.create_by, pa.`status` AS applyStatus, pa.applier_user_code, pa.apply_name, pa.business_type, pa.store_id, pa.store_name, erp_spec_id, erp_product_id, CASE pa.STATUS WHEN 8 THEN 0 WHEN 1

 Flink-1.13.2 Standalone 集群安装配置

摘要:介绍 Flink提供了多种部署方式,本文介绍standalone 三节点模式,这个是模式不依赖其它第三方工具,配置简单Stanalone CLuster 是一种独立的集群模式,集群运行不需要依赖外部系统,完全自己独立进行管理。三台机器部署情况: 1、解压安装包tar -zxvf flink-1.13.2-bin-scala_2.11.tgz在每台主机上配置主机名(注意:一定要配置主机名,主机名不能是localhost)hostnam

 mysql-to-clickhouse flink字段类型对应表

摘要:  mysql                                              clickhosue                              flink`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT 

 Flink-SQL网页管理工具-flink-streaming-platform-web配置

摘要:1.简介flink-streaming-platform-web系统是基于Apache Flink 封装的一个可视化的、轻量级的flink web客户端系统,用户只需在web 界面进行sql配置就能完成流计算任务。主要功能:包含任务配置、启/停任务、告警、日志等功能,支持sql语法提示,格式化、sql语句校验。目的:减少开发、降低成本 完全实现sql化 流计算任务。  1、主要功能[1] 任务支持单流 、双流、 单流与

 flink-connector-clickhouse编译安装配置

摘要:官方链接:https://github.com/itinycheng/flink-connector-clickhouse编译的前题是要安装好jdk和mvn,这里省略Flink ClickHouse ConnectorFlink SQL connector for ClickHouse database, this project Powered by ClickHouse JDBC.Currently, the project supports Source/Sink Table and Flink Catalog.Please create issues if you encounter bugs and any help for the proj

 通过Flink SQL基于binlog将MySQL数据时时同步到另一个库中

摘要:环境配置:CentOS:[root@node212 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)[root@node212 ~]# uname -aLinux node212 4.4.219-1.el7.elrepo.x86_64 #1 SMP Sun Apr 12 16:13:06 EDT 2020 x86_64 x86_64 x86_64 GNU/Linux[root@node212 ~]#flink-1.13.2(这个版本不需要编译,直接解压就可以使用)        flink-1.13.2-bin-scala_2.

 从零开始配置MySQL8.0.25 InnoDB Cluster高可用集群

摘要:架构图:服务规划服务器        IP                      端口        角色node11        172.16.1.11        6446        master  shell routernode12        172.16.1.12  &nb

 MySQL[5.7-8.0] proxy user代理用户配置详解

摘要:其实MySQL版本发展到8.0,已经完全没有必要使用 proxy 用户这个功能了,可以用角色完美替代。auth_test_plugin.so 是 MySQL 5.5 的插件,仅限于测试环境,不推荐线上使用,仅限功能演示。之后的一系列大版本安装包里都不包含这个插件,所以使用方法有些差异。下面我对 proxy 用户在 MySQL 8.0 下如何使用做下简单演示,此方法也同样适合MySQL 5.7的版本。我在下面示例中使用插件

 详细告诉你MySQL数据库的数据扫描方法

摘要:引言关于存储引擎的介绍有很多,基于HEAP的传统存储引擎,以及基于聚簇索引的Innodb引擎等,但优化器如何充分利用存储引擎的特点来实现快速高效的扫描,从而以最小的代价得到用户所需要的结果,是一个非常复杂过程。为了了解优化器是如何运作的,首先我们要了解每一种扫描方式的特点,下面我们以MySQL为例,就一些常见的表扫描方式进行讨论。全表扫描MySQL的full table scan本质

 MySQL数据抽取CDC工具canal-1.1.5+kafka部署测试全记录

摘要:运行环境:操作系统:                                CentOS 7.9canal相关组件:                                zookeeper-3.4.14.tar.gz                &nb

 部署otter-4.2.18实现mysql主备数据时时同步

摘要:名称:otter ['ɒtə(r)]译意: 水獭,数据搬运工语言: 纯java开发定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库.工作原理一、环境准备 操作系统配置:关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service关闭SElinuxsed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/configset

 Clickhouse同步mysql数据失败时,自动处理SHELL脚本

摘要:Clickhouse通过物化引擎同步MySQL的数据,但如果Clickhouse遇到不能解析的EVENTS,则同步会失败,唯一的解决方法就是重新创建数据同步,但重新创建数据同步流程较多,以下这个脚本就是一个自动处理此类事件的,如下:填写需要监控的数据库名称:[root@node220 rsync_mysql_to_clickhouse]# pwd/server/shell_scripts/clickhouse/rsync_mysql_to_clickhouse[root@node220 rsync_

 DATAX可视化面板:data-web编译安装配置

摘要:环境准备1)基础软件安装MySQL (5.7+) 必选,安装略,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库JDK (1.8.0_xxx) 必选,安装略Maven (3.6.1+) 必选,安装略DataX 必选,安装略Python (2.x) 最好用2.x (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下) 必选,主要用于调度执行底层D

 通过datax将SQLSERVER中的数据同步到Clickhouse中

摘要:1.源:        SQLSERVER 配置只读权限的帐号和密码:2.源表结构:CREATE TABLE [dbo].[EgOrg_Company](        [CmpCode] [varchar](30) NOT NULL,  String        [CompanyName] [varchar](100) NULL, String        [ShortName] [varchar](100) NULL, String      &nb

 阿里巴巴开源异构数据源离线同步工具datax编译安装配置

摘要:环境:[root@node101 DataX]# uname -aLinux node101 4.4.219-1.el7.elrepo.x86_64 #1 SMP Sun Apr 12 16:13:06 EDT 2020 x86_64 x86_64 x86_64 GNU/Linux[root@node101 DataX]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)[root@node101 DataX]# pythonPython 2.7.5 (default, Oct 30 2018, 23:45:53)[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2Typ

 Clickhouse-Server通过JDBC全量同步SQLSERVER的数据

摘要:ClickHouse JDBC Bridge 的安装及连接sqlserver用于ClickHouse的JDBC链接桥。 它充当无状态代理,将查询从ClickHouse传递到外部数据源。 使用此扩展,您可以跨多个数据源实时在ClickHouse上运行分布式查询,从而以某种方式简化了用于数据仓库,监视和完整性检查等的数据管道的构建过程。安装环境:[root@node220 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Co

 SQLSERVER2012通过ODBC实时同步数据到Mysql5.7

摘要:安装环境:Windows-SQLSERVER 2012Aliyun-RDS(MySQL-5.7.28)1. 安装安装mysqlconnectorhttp://www.mysql.com/products/connector/下载5.3.13这个版本下载安装略: 2. 配置mysqlconnector打开控制面板:ODBC数据管理器->系统DSN->添加->mysqlODBC 5.3 ANSI driver->填入data source name,Mysql的ip、用户名、密码即可 回到SQLSERVER MSSM中:--新建链接服

 OceanBase 单机3zones集群部署详解

摘要:安装拓扑图:环境拓扑:  主机名       硬件配置               IP            角色             备注:node100      8C/8G/100G       172.16.1.100   obd      &nbs

 MySQL json字段类型详解

摘要:前言     JSON我相信大家都已经很熟悉了,但在 MySQL中,直至 5.7 版本中,才正式引入 JSON数据类型。在次之前,我们通常使varchar或text数据类型存储JSON格式数据。如何使用JSON?  在这一章节,不再具体介绍JSON格式以及语法,我们来介绍一下,在MySQL中如何创建JSON数据列。 语法:create table t_base_data( id bigint(20) not null primary key a

 OceanBase数据库单zone环境部署

摘要:安装前环境配置:环境拓扑:主机名       硬件配置               IP            角色             备注:node100      8C/8G/100G       172.16.1.100   obd         
分页:« 1 2 3 4 5 6 7 8 9 10 »
Powered by AKCMS