当前位置:   article > 正文

推荐花椒直播服务端的 4 个开源项目

“直播系统”开源项目

新年伊始,花椒直播服务端系统开发组对多个内部广泛使用到的基础服务开源,包括之前介绍过的总线系统和分布式 cron 管理:

  • gokeeper - 集中化配置管理中心

  • pepperbus - 花椒直播总线系统

  • peppercron - 花椒直播分布式 cron 管理

  • dashboard - pepperbus & peppercron 操作后台

gokeeper

  • github 仓库地址:

  • https://github.com/huajiao-tv/gokeeper

  • docker 镜像仓库:docker pull huajiao/gokeeper

gokeeper 是一个基于 go 语言编写的集中化配置管理中心,支持服务发现功能,默认使用 ETCD 作为后端配置存储(可支持 consul, zokeeper 等),支持单节点或集群方式部署。

运行

前提条件

  • 本地配置 Docker 环境及 docker-compose

  • Clone gokeeper 代码至本地

启动 gokeeper

  • 进入 deploy/docker_compose 目录

  • 执行 docker-compose up -d

集中配置

gokeeper 支持 go 语言内置的 gob 编码,并支持 go 语言的大部分数据类型及复合结构:

  1. bool, []bool
  2. int, int64
  3. []int, []int64
  4. float64, []float64
  5. string, []string
  6. map[string]string, map[string]int, map[string]bool
  7. map[int]string, map[int]int, map[int]bool
  8. map[string][]string, map[string]struct{}, map[int]struct{}
  9. time.Duration

除以上 go 语言类型外,还持将 json 字符串到自定义类型的映射,配置类型为 json

此外,为了兼容其它语言,gokeeper 还支持使用 gRPC 协议,目前其它语言的 SDK 仍在开发测试中。

接入

  • 引入 go get -u github.com/huajiao-tv/gokeeper

  • 使用自定义的 ini 格式定义配置

    ini 文件使用 <key> [type] = [value] 的格式,如果不指定类型,默认为 string

  • 生成配置对象

  1. go get -u github.com/huajiao-tv/gokeeper/cmd/gokeeper-cli
  2. $GOPATH/bin/gokeeper-cli -in ./ini_file_path -out data
  • gokeeper client

  1. //your ps to use
  2. ps := []string{"test.conf/DEFAULT"}
  3. //gokeeper.WithGrpc() will use grpc to connect gokeeper server,otherwise use gorpc
  4. client := gokeeper.New(keeperAddr, domain, nodeID, component, ps, nil, gokeeper.WithGrpc())
  5. client.LoadData(data.ObjectsContainer).RegisterCallback(run)
  6. if err := client.Work(); err != nil {
  7. panic(err)
  8. }

服务发现

原理

特性

  • client 端服务注册与发现的接口只与 gokeeper 交互,不关心 gokeeper discovery 后端存储

  • 服务的订阅者只订阅自己感兴趣的服务,没有订阅的服务不会得到信息变动的推送

  • gokeeper discovery 与后端存储建连,监听服务的节点信息变化,如果有增删节点,discovery实时将信息推送给服务的订阅者

  • 在 client consumer 与 gokeeper discovery 不通的情况下,原有的节点可用

  • 负载均衡策略由后台配置,通过 gokeeper 写到存储中,各个 gokeeper discovery 节点同步更新,然后通过 gokeeper 同步给各个 Service Consumer

接入

  • 引入 go get -u github.com/huajiao-tv/gokeeper/client/discovery

  • Service Provider

  1. instance := discovery.NewInstance(discovery.GenRandomId(), "demo.test.com", map[string]string{discoverry.SchemaHttp: "127.0.0.1:17000"})
  2. instance.Id = "test_id_1"
  3. client := discovery.New(
  4. // gokeeper server address(grpc address)
  5. "127.0.0.1:7001",
  6. // registry service
  7. discovery.WithRegistry(instance),
  8. discovery.WithRegistryTTL(60*time.Second),
  9. // schedule strategy,default:random
  10. discovery.WithScheduler(map[string]schedule.Scheduler{
  11. "demo.test.com": schedule.NewRoundRobinScheduler(),
  12. }),
  13. )
  • Service Consumer

  1. // start gokeeper client
  2. client := discoverry.New(
  3. // gokeeper server address(grpc address)
  4. "127.0.0.1:7001",
  5. // subscribe a group of service
  6. discovery.WithDiscovery("example_client1", []string{"demo.test.com"}),
  7. )
  8. // TODO
  9. // get service address
  10. addr, err := client.GetServiceAddr("demo.test.com", discovery.SchemaHttp)
  11. if err != nil{
  12. // TODO
  13. }

pepperbus

  • github 仓库地址:

  • https://github.com/huajiao-tv/pepperbus

  • docker 镜像仓库:docker pull huajiao/pepperbus

pepperbus - 花椒直播总线系统,相关的设计及介绍在花椒技术公众号的 2019-11-26 期。

peppercron

  • github 仓库地址:

  • https://github.com/huajiao-tv/peppercron

  • docker 镜像仓库:docker pull huajiao/pepperbus

peppercron - 花椒直播分布式 cron 管理服务,相关的设计及介绍在花椒技术公众号的 2019-10-29 期。

dashboard

  • github 仓库地址:

  • https://github.com/huajiao-tv/dashboard

  • docker 镜像仓库:docker pull huajiao/dashboard

dashboard 是为了简化 pepperbus 和 peppercron 的使用,根据花椒直播的业务需求开发的通用管理后台。

dashboard 使用说明

启动

Clone 代码至本地后,执行 docker-compose up -d,会创建以下容器:

  • redis - pepperbus 消息落地存储

  • mysql - 后台 dashboard 数据库

  • gokeeper_etcd - gokeeper 及 peppercron 使用的 ETCD

  • gokeeper - 配置中心

  • peppercron - 分布式 cron 管理服务

  • php-fpm - 总线 php 消费

  • pepperbus - 总线系统

  • dashboard - pepperbus & peppercron 管理操作后台

登录

浏览器登录 localhost:8360,启动后的默认账户为:

  • 默认管理员:admin

  • 密码:

  • admin@pass (在 config.yaml 中指定)

创建系统

pepperbus 总线

为系统添加 pepperbus 服务器

为系统添加 redis 存储

添加队列

为队列添加两个 Topic

代码仓库中的 example/php/consume.php 已经通过 php 的 SDK 实现了两个消费者,分别为:queue1/topic1queue1/topic2。其中 topic1 默认返回成功,topic2 默认返回失败。

测试 Topic
  • topic1

  • topic2

peppercron 任务管理

为系统添加 peppercron 任务服务器

添加任务

测试任务

启动之前可以先测试任务是否配置正常

修改任务输出至文件

验证任务执行结果

想要更多Java知识,欢迎关注下面公众号

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/157574
推荐阅读
相关标签
  

闽ICP备14008679号