发布网友 发布时间:2024-10-24 03:47
共1个回答
热心网友 时间:2024-11-06 14:09
本文主要介绍了ClickHouse的基本概览和2021年发布的五大新特性。ClickHouse是一款高性能的OLAP数据库,其名称来源于“Click Stream点击流”和“数据仓库Data Ware House”,旨在解决基于点击流的数据仓库问题。ClickHouse起源于Yandex,一家俄罗斯的互联网公司,其流量站点分析工具平台Metrica支撑着ClickHouse的运行。以下是其显著特点和2021年发布的五大新特性。
ClickHouse的显著特点包括:
入门简单:具备完整的DBMS功能,支持SQL,提供DDL、DML语句,以ROLAP模型为主,同时也支持MOLAP和Projection。
“Everything is table”:所有数据以表格形式存储和管理。
接口丰富:提供TCP、HTTP底层访问接口,以及JDBC、CLI等封装接口。兼容MySQL、Postgres客户端,支持Java、Python、Nodejs等众多第三方接口,并内置数百个函数。
在线查询:支持实时应答,无需预处理,也支持立方体预聚合。
分布式架构:采用MPP架构,支持集群模式,数据分区、分片和副本。
高性能:采用列存、高压缩和向量化引擎,实现秒杀性能。单机部署即可实现高性能。
安全可靠:具备熔断机制和防误删机制。
完善权限系统:采用RBAC,支持客户端接入权限、资源访问权限、操作访问权限和数据行级权限。
开源软件:2016年开源,遵循Apache-2.0协议。活跃的社区,850+贡献者、21.1K+星标、4.1K分叉,发版速度快。
以下是ClickHouse在2021年发布的五大新特性:
利用JIT提升数十倍查询性能:ClickHouse结合向量化执行和运行时代码生成技术,通过即时编译(JIT)优化查询性能,实现数倍到数十倍的提升。
支持基于Lambda的UDF:从21.10版本开始,ClickHouse支持基于Lambda表达式定义用户自定义函数(UDF),提供更灵活的函数定义和应用。
引入开窗函数:从21.3版本开始,ClickHouse支持开窗函数,简化了复杂分析任务的编写,提高了查询效率和便利性。
支持S3和HDFS存储的零拷贝复制:从21.4.1版本开始,ClickHouse提供了与云存储(如S3和HDFS)的零拷贝复制机制,优化了数据存储和复制过程,提高了可用性。
Projection特性:解决了ClickHouse在排序规则和物化视图智能性方面的痛点,通过智能的Part Level存储和数据同源性,提供了更智能的物化视图机制,加速了查询性能。
总结来说,ClickHouse凭借其高性能、分布式架构、丰富的特性和不断优化的新特性,已经成为大数据处理和分析领域的热门选择。