2000万条直播数据，揭秘斗鱼主播生存现状

2019年7月17日游戏直播平台斗鱼在美国纳斯达克股票交易所成功上市，成为继虎牙直播之后第二家赴美上市的国内直播平台。

7月底斗鱼因为平台主播“乔碧萝殿下”事件再次被推上热搜。

段子手们纷纷调侃成为主播的门槛之低：只需要变声软件+盗图+超级美颜。

 

那么直播行业真的如同网友们所说的这么简单吗？

 

主播们的真实生存现状如何？

 

打开斗鱼直播界面，连续点击翻页，Network查看异步请求XHR，找到对应的URL

get

成功获取到对应的URL。

https://www.douyu.com/gapi/rkc/directory/ 0_0/ 2

翻页只变动末尾的最后一个数字。

采用requests+pyquery来爬取。

部分爬虫代码如下。

def get_datas(url):
    data = []
    doc = get_json(url)
    jobs=doc[ 'data'][ 'rl']
     for job  in jobs:
        dic = {}
        dic[ 'user_name']=jsonpath.jsonpath(job, '$..nn')[ 0]  #用户名
        dic[ 'user_id']= jsonpath.jsonpath(job, '$..uid')[ 0]  #用户ID
        dic[ 'room_name']=jsonpath.jsonpath(job, '$..rn')[ 0]   #房间名
        dic[ 'room_id']=jsonpath.jsonpath(job, '$..rid')[ 0]  #房间ID
        dic[ 'redu']=jsonpath.jsonpath(job, '$..ol')[ 0]  #热度
        dic[ 'c2name']=jsonpath.jsonpath(job, '$..c2name')[ 0]  #分区
        dic[ 'time']= stampToTime(time.time())  
        data.append(dic)
     return data  

剩下就是连续爬取，我设置的是10分钟爬取一次。

将爬取得到的数据存入Mysql中。

#存到Mysql
from sqlalchemy  import create_engine

engine = create_engine( 'mysql+mysqldb://root:***密码***@localhost:3306/demo?charset=utf8mb4')
final_result.to_sql( 'data_douyu',con=engine, index= False, index_label= False,if_exists= 'append', chunksize= 1000)

连续爬取了大概七天多时间，最终得到2062万条直播数据。

将数据导入python。

去重，其实爬虫部分已经设置去重，这里为了保险再来一次，不过事实证明确实没有重复。

因为实际爬取时间是0731下午到0808上午，为了方便后文计算，这里选取0801-0807这连续七天的直播数据。

#去重
data = data[[ 'c2name',  'redu',  'room_id',  'room_name',  'time', 'user_id',  'user_name']].drop_duplicates()

#筛选时间
data = data.loc[(data[ 'time'] <=  '2019-08-07') & (data[ 'time'] >=  '2019-08-01')]

我们还需要对主播按照id分组汇总。

先利用groupby分类汇总，再计算增加新列。

data_abc[ 'av_redu'] = data_abc[ 'redu']/data_abc[ 'time_num']
data_abc[ 'hour'] = data_abc[ 'time_num']/  42  #每十分钟一次，七天
data_abc.head()

这样我们就又构建了一组以主播为索引的数据。

也就是说这七天之内，直播过的主播共有23万余人，那么下文让我们看看他们的生存现状吧。

将这23万主播按照平均直播时长和平均直播热度绘制一个散点图。

import seaborn  as sns
import matplotlib  as mpl #配置字体
mpl.rcParams[ 'font.sans-serif'] = [ 'SimHei'] # 指定默认字体
mpl.rcParams[ 'axes.unicode_minus']

plt.figure(figsize=( 8, 8))
plt.xticks(fontsize= 12)
plt.yticks(fontsize= 12)

sns.scatterplot(data_test[ "hour"],data_test[ "av_redu"],hue=data_test[ "c2name"])

结果如下图所示。