解析mysql迁移到clickhouse的几种办法
发布时间：2022-03-15 12:23:38 所属栏目：MySql教程 来源：互联网
导读：数据迁移需要从mysql导入clickhouse, 总结方案如下，包括clickhouse自身支持的三种方式，第三方工具两种。 可以通过在mysql增删数据进行验证。 insert into select from -- 先建表 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( nam
|
数据迁移需要从mysql导入clickhouse, 总结方案如下，包括clickhouse自身支持的三种方式，第三方工具两种。 可以通过在mysql增删数据进行验证。 insert into select from -- 先建表 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2], ... ) ENGINE = engine -- 导入数据 INSERT INTO [db.]table [(c1, c2, c3)] select 列或者* from mysql('host:port', 'db', 'table_name', 'user', 'password') 可以自定义列类型，列数，使用clickhouse函数对数据进行处理，比如 select toDate(xx) from mysql("host:port","db","table_name","user_name","password") create table as select from CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE =Log AS SELECT * FROM mysql('host:port', 'db', 'article_clientuser_sum', 'user', 'password') 网友文章: http://jackpgao.github.io/2018/02/04/ClickHouse-Use-MySQL-Data/ 不支持自定义列，参考资料里的博主写的 ENGIN=MergeTree 测试失败。 可以理解成 create table 和 insert into select 的组合 Altinity/clickhouse-mysql-data-reader Altinity公司开源的一个python工具，用来从mysql迁移数据到clickhouse(支持binlog增量更新和全量导入)，但是官方readme和代码脱节，根据quick start跑不通。 csv ## 忽略建表 clickhouse-client -h host --query="INSERT INTO [db].table FORMAT CSV" < test.csv 但是如果源数据质量不高，往往会有问题，比如包含特殊字符(分隔符，转义符)，或者换行。被坑的很惨。 自定义分隔符, --format_csv_delimiter="|" 遇到错误跳过而不中止， --input_format_allow_errors_num=10 最多允许10行错误, --input_format_allow_errors_ratio=0.1 允许10%的错误 csv 跳过空值(null) ，报 Code: 27. DB::Exception: Cannot parse input: expected , before: xxxx: (at row 69) ERROR: garbage after Nullable(Date): "8,002<LINE FEED>0205" sed ' :a;s/,,/,N,/g;ta' |clickhouse-client -h host --query "INSERT INTO [db].table FORMAT CSV" 将 ,, 替换成 ,N, python clean_csv.py --src=src.csv --dest=dest.csv --chunksize=50000 --cols --encoding=utf-8 --delimiter=, clean_csv.py参考我另外一篇032-csv文件容错处理 streamsets streamsets支持从mysql或者读csv全量导入，也支持订阅binlog增量插入，参考我另外一篇 025-大数据ETL工具之StreamSets安装及订阅mysql binlog 。 （编辑：好传媒网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
