搜广推基础架构_搜广推架构

基础组件

开发环境

• 文档管理：产品需求、产品设计、概要（详细）设计、拓扑图、流程图、以及实施过程；

• 持续构建与持续集成：对提交的代码在后台构建，并发现和反馈代码中的问题和错误；

• QA 系统：测试阶段开发人员和测试人员的交互平台，记录问题的修复过程和结果；

• 开发环境和测试环境：有别于生产环境，仅供开发和测试人员使用；

• 灰度系统：设置灰度流量策略和灰度流量占比，观测灰度效果，降低全量风险；

• 上线系统：控制上线节奏、提供回滚操作、实时报警报错，避免发生系统事故；

• 协助系统：内部支持系统，将问题反馈给各个技术团队，寻求快速定位和解决问题；

生产环境

• 用户中心：保存全量用户基础信息，如 ID、年龄、性别、地域、教育程度及兴趣标签；

• 缓存集群：缓存集群分为高速缓存和高可用缓存，前者注重读写效率，后者注重数据安全；

• 数据库集群：根据各个业务的特性和数据规模，采用各种非关系型、半关系型及关系型数据库；

• 日志系统：存储生产环境下的日志数据，提供实时查询，帮助问题排查和定位，存储失效期比较短；

• 打点系统：记录生产环境下各个系统的实时操作，方便统计、聚合、查看业务的各项运行指标；

• 报警系统：业务指标来自于打点系统，根据设置的阈值报警和报错，并将消息发送到技术人员的手机等设备上；

资源系统

• 创作者平台：保存内容生产者的基本信息，在搜广推业务中用于定向操作；

• 内容详情平台：保存内容的详细信息，如标题、正文、图片、视频及超链接等；

• 内容审核中心：内容审核操作包括机审和人审，是对流通内容的质量把控；

• 内容标签中心；对过审内容贴标签及判定话题，目的在于基本的召回操作；

• 内容实时数据：如曝光、点击、点赞、转发、收藏、评论、追评等，作用在于影响搜广推业务的效果；

• 负反馈中心：记录用户对内容的负面反馈，帮助提升和完善后续的用户体验；

数据系统

• 大数据平台：hadoop 系统，存储所有的业务底层数据，用于统计与分析；

• 分析系统：准实时低延时系统，存储小时级或天级别数据，方便快速查询和统计；

• 报表系统：从底层业务数据中统计各项业务指标，方便业务运营与决策；

• 结算系统：与需求方、内容创作者、合作媒体、广告主等各方进行结算；

系统层级

接入层

包含固网和移动、PC 及各种智能设备、Windows、macOS、Android 及 IOS 等操作系统；

业务层

引擎对接各个业务板块，为业务和内容提供流量入口，通过策略控制分发逻辑；

数据层

在持久化业务数据的同时，对内提供调用接口，对外提供实时服务；

监控层

对业务全套链路提供实时指标的监控，保障运营、指出系统的优化方向等；