当前位置:   article > 正文

ClickHouse CTO空降中国开发者和用户沙龙,B站、小红书、携程、阿里云携手分享ClickHouse实践_阿里云数据库clickhouse技术分享暨海量数据分析场景

阿里云数据库clickhouse技术分享暨海量数据分析场景

ClickHouse由于其性能方面的突出优势,正在分析型数据库领域掀起一波新的技术浪潮。ClickHouse有哪些最新的特性?如何帮助企业实现降本提效?如何在海量数据场景下落地实践? 

3月25日,CSDN Cmeet系列技术沙龙第5期“ClickHouse中国开发者和用户沙龙”在上海举行。本期沙龙由CSDN、阿里云、ClickHouse联合主办,ClickHouse CTO及创始人 Alexey Milovidov、B站OLAP平台ClickHouse技术负责人胡甫旺、小红书OLAP研发专家王成、携程资深研发工程师林东煜、阿里云ClickHouse技术开发陈逸喆,分享了ClickHouse最新技术和最佳实践,帮助大家全方位了解ClickHouse。

 阿里巴巴集团研究员、阿里云数据库事业部OLAP 产品部负责人林亮在开场致辞中提到,在3月24日举行的阿里云瑶池数据库峰会上,阿里云与ClickHouse正式签订了战略合作协议,成为ClickHouse在中国独家的云服务提供商,并提供具备独有企业能力的ClickHouse版本。而本次沙龙将聚焦在社区版的实践分享。

ClickHouse社区版最新特性

ClickHouse CTO及联合创始人 Alexey Milovidov 在活动上分享了 ClickHouse 社区版的最新功能发布、特性解读和技术实现原理解析,以及 ClickHouse 未来演进规划。

Alexey 表示,在业务方面,ClickHouse 很容易为需求进行配置。例如,ClickHouse 支持大量的协议并对其进行组合:

 ClickHouse 在B站海量数据场景的落地实践

 B站OLAP平台ClickHouse 技术负责人、ClickHouse社区Contributor胡甫旺介绍,海量交互式OLAP分析是很多企业必然会遇到的场景,ClickHouse作为一个较年轻的OLAP数据库产品,正在被越来越多的公司用于做业务分析的底层引擎。ClickHouse目前已被充分应用在B站日志&Trace分析、用户行为分析、圈人定投、电商交易分析、OGV内容分析等场景之中。

基于ClickHouse的交互式OLAP技术架构

胡甫旺表示,未来B站将从以下四个方面持续发力:

  • ClickHouse集群容器化,提升物理集群资源使用率;
  • ClickHouse倒排索引调研与改造,提升日志检索性能;
  • 丰富ClickHouse编码类型,拓展zorder应用场景,提升圈选计算性能;
  • ClickHouse存算分离探索,降低集群扩容成本。

小红书云原生ClickHouse的建设和实践

小红书OLAP研发专家王成在分享者提到,小红书从2019年开始在公司内使用和推广 ClickHouse,目前在公司内部署了数十集群,上千台节点,支撑了公司所有业务的实时分析场景。针对云原生落地前ClickHouse所遇到的扩容难、数据同步难、算力浪费严重、查询体验不稳定等问题,小红书选择了自研云原生实时数仓,并具有以下优势及价值:

  • 灵活性:快速响应业务;
  • 自主可控:保障性能、稳定性、安全性;
  • 符合小红书多云战略。

云原生 OLAP V1.0

最后,王成表示,小红书未来将持续推进湖仓统一建设,完善自动敏捷的弹性伸缩机制,在最大程度上优化用户的产品体验,同时实现降本增效。

 ClickHouse在携程的PB级日志系统实践

基于携程过往三年使用 ClickHouse 的历程,携程资深研发工程师林东煜分享了其在性能以及运维两大方面遇到的痛点。

1、性能与功能痛点

  • 单集群规模太大,zookeeper 性能瓶颈 DDL 超时异常;
  • 删字段,字段数据量大时,超时,容易导致元数据不一致;
  • 用户索引设置不佳,查询慢,重建会导致删除历史数据;
  • 查询层缺少限流、防呆、自动优化,导致查询不稳定。

2、运维痛点

  • 表与集群严格绑定,集群磁盘满后,只能通过双写迁移;
  • 集群搭建依赖ansible,部署周期长(数小时);
  • 与社区版本脱节,目前部署模式不便版本更新。

针对以上痛点,林东煜也分享了ClickHouse on K8s等解决方案,为大家提供思路参考。

阿里云ClickHouse产品解读 

阿里云ClickHouse技术开发陈逸喆针对阿里云在近期发布上线的分层存储和数据实时迁移的功能及实现做了深入分享。

1、在分层存储方面:

  • 云盘多盘:解决单盘IO吞吐限制问题,根据初始购买大小默认分配 N 块盘;
  • 本地盘:大容量存储、性价比高,计算存储强绑定,一小块云盘存放库表元数据;
  • 分层:热、温、冷三种存储介质,可做分层组合。

2、在数据实时迁移方面:

  • 横向节点扩缩容:创建临时实例,数据同步后,切换SLB;
  • 大版本升级,单双副本切换:创建临时实例,数据同步后,切换SLB。

最后,陈逸喆分享了ClickHouse数据实时同步工具cksync。

本次活动活动视频回放已在CSDN直播间上线,欢迎观看:

https://marketing.csdn.net/p/3243969f4026cb1b536f9cea1f8733c4

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/358214
推荐阅读
相关标签
  

闽ICP备14008679号