当前位置:   article > 正文

【Python 数据科学】聚合apply和agg_用apply()方法生成newpostcode特征

用apply()方法生成newpostcode特征

文章目录

import pandas as pd 
position=pd.read_csv('DataAnalyst.csv',encoding='gbk')
company=pd.read_csv('company_sql.csv',encoding='gbk')
position.head()
  • 1
  • 2
  • 3
  • 4
citycompanyFullNamecompanyIdcompanyLabelListcompanyShortNamecompanySizebusinessZonesfirstTypesecondTypeeducationindustryFieldpositionIdpositionAdvantagepositionNamepositionLablesbottomtopavgworkYear
0上海纽海信息技术(上海)有限公司8581['技能培训', '节日礼物', '带薪年假', '岗位晋升']1号店2000人以上['张江']技术数据开发硕士移动互联网2537336知名平台数据分析师['分析师', '数据分析', '数据挖掘', '数据']798.0应届毕业生
1上海上海点荣金融信息服务有限责任公司23177['节日礼物', '带薪年假', '岗位晋升', '扁平管理']点融网500-2000人['五里桥', '打浦桥', '制造局路']技术数据开发本科金融2427485挑战机会,团队好,与大牛合作,工作环境好数据分析师-CR2017-SH2909['分析师', '数据分析', '数据挖掘', '数据']101512.5应届毕业生
2上海上海晶樵网络信息技术有限公司57561['技能培训', '绩效奖金', '岗位晋升', '管理规范']SPD50-150人['打浦桥']设计数据分析本科移动互联网2511252时间自由,领导nic数据分析师['分析师', '数据分析', '数据']465.0应届毕业生
3上海杭州数云信息技术有限公司上海分公司7502['绩效奖金', '股票期权', '五险一金', '通讯津贴']数云150-500人['龙华', '上海体育场', '万体馆']市场与销售数据分析本科企业服务,数据服务2427530五险一金 绩效奖金 带薪年假 节日福利大数据业务分析师【数云校招】['商业', '分析师', '大数据', '数据']687.0应届毕业生
4上海上海银基富力信息技术有限公司130876['年底双薪', '通讯津贴', '定期体检', '绩效奖金']银基富力15-50人['上海影城', '新华路', '虹桥']技术软件开发本科其他2245819在大牛下指导BI开发/数据分析师['分析师', '数据分析', '数据', 'BI']232.5应届毕业生

apply

问题:不同城市下薪资前3的职位(分组topN)

#df取top3
position.sort_values('avg',ascending=False)[:3]
  • 1
  • 2
citycompanyFullNamecompanyIdcompanyLabelListcompanyShortNamecompanySizebusinessZonesfirstTypesecondTypeeducationindustryFieldpositionIdpositionAdvantagepositionNamepositionLablesbottomtopavgworkYear
1364深圳华为技术有限公司3060['技能培训', '节日礼物', '股票期权', '绩效奖金']华为技术有限公司2000人以上NaN开发/测试/运维类运维安全本科移动互联网,企业服务2573388高薪~期权~安全数据分析专家['专家', '安全', '网络安全', '病毒分析', '数据分析', '数据']5010075.05-10年
2845北京北京达佳互联信息技术有限公司1880['股票期权', '五险一金', '弹性工作', '定期体检']快手50-150人['中关村', '北京大学', '苏州街']开发/测试/运维类运维安全本科移动互联网2538369待遇优厚,平台超赞,租房补助,美味午晚餐高级数据中心架构师['架构师', '运维', '数据']5010075.03-5年
827上海上海友希数码科技发展有限公司150849['年底双薪', '专项奖金', '年终分红', '带薪年假']友希科技500-2000人['张江']开发/测试/运维类数据开发本科硬件2568751VR,微鲸科技,阿里腾讯,行业领先大数据架构师(阿里/腾讯/华人文化共同投资)['专家', '架构师', '大数据', '数据']5010075.05-10年
#分组df取topN
def func(x,N,asc):
    return x.sort_values('avg',ascending=asc)[:N]
#这里传入的也是df,只不过是已经按照city分组后的df,因此函数会在分组内运行,得到的就是分组结果
position.groupby('city').apply(func,N=3,asc=False)
  • 1
  • 2
  • 3
  • 4
  • 5
citycompanyFullNamecompanyIdcompanyLabelListcompanyShortNamecompanySizebusinessZonesfirstTypesecondTypeeducationindustryFieldpositionIdpositionAdvantagepositionNamepositionLablesbottomtopavgworkYear
city
上海835上海上海遇志投资管理有限公司151989['年底双薪', '股票期权', '创业氛围', '专项奖金']复星金服2000人以上['漕河泾']技术管理岗硕士金融,移动互联网2475927复兴集团背景 强大资源投入 发挥空间巨大数据技术总监['技术总监', '数据']5010075.05-10年
827上海上海友希数码科技发展有限公司150849['年底双薪', '专项奖金', '年终分红', '带薪年假']友希科技500-2000人['张江']开发/测试/运维类数据开发本科硬件2568751VR,微鲸科技,阿里腾讯,行业领先大数据架构师(阿里/腾讯/华人文化共同投资)['专家', '架构师', '大数据', '数据']5010075.05-10年
774上海上海管易云计算软件有限公司10821['绩效奖金', '年底双薪', '五险一金', '午餐补助']上海管易云计算软件有限公司150-500人['张江']技术管理岗本科移动互联网,电子商务2433090薪资优、福利全、平台大、产品应用广大数据架构['大数据', '架构师', '数据']357052.55-10年
北京2845北京北京达佳互联信息技术有限公司1880['股票期权', '五险一金', '弹性工作', '定期体检']快手50-150人['中关村', '北京大学', '苏州街']开发/测试/运维类运维安全本科移动互联网2538369待遇优厚,平台超赞,租房补助,美味午晚餐高级数据中心架构师['架构师', '运维', '数据']5010075.03-5年
6547北京北京盛世好运投资管理有限公司144570NaN盛世金控2000人以上['朝外']技术管理岗本科金融,社交网络2462755智慧社区、综合管理大数据总监['大数据', '合伙人', '数据']608070.010年以上
3469北京北京盛世好运投资管理有限公司144570NaN盛世金控2000人以上['朝外']技术管理岗本科金融,社交网络2462755智慧社区、综合管理大数据总监['大数据', '合伙人', '数据']608070.010年以上
南京4735南京江苏思柯瑞数据科技有限公司133669NaN思柯瑞15-50人NaN技术后端开发本科数据服务,移动互联网2279511高薪资、提供住宿、高水准研究开发团队高级爬虫数据工程师['爬虫', '数据']203025.03-5年
4747南京南京途牛科技有限公司8250['绩效奖金', '股票期权', '五险一金', '带薪年假']途牛旅游网2000人以上NaN技术数据开发本科电子商务,旅游2168293年终奖,餐饮补贴,弹性工作,免费班车大数据开发工程师['大数据', '数据挖掘', '数据库', '数据']183024.05-10年
4749南京孩子王儿童用品股份有限公司31945['节日礼物', '技能培训', '年度旅游', '岗位晋升']孩子王2000人以上['瑞金路', '紫金山', '后宰门']技术后端开发本科生活服务2512050母婴大平台,公司快速发展阶段大数据架构师['大数据', '架构师', '数据']182823.05-10年
厦门4908厦门厦门光鱼信息科技有限公司123068['年终分红', '交通补助', '美女多', '领导好']光鱼全景15-50人NaN技术DBA本科移动互联网,企业服务2559895双休车食补贴法定节假日医社保年终奖大数据挖掘工程师['大数据', '数据挖掘', '数据', '算法']203025.01-3年
4915厦门厦门笨鸟电子商务有限公司84086['节日礼物', '股票期权', '带薪年假', '岗位晋升']笨鸟社交50-150人['莲前']技术后端开发硕士电子商务,社交网络2042554牛人多,扁平化,五险一金,员工福利数据工程师['数据']153022.5不限
4917厦门厦门渊亭信息科技有限公司128288['年底双薪', '股票期权', '专项奖金', '绩效奖金']渊亭信息科技15-50人NaN技术后端开发不限数据服务,企业服务1894326广大发展空间大数据工程师['大数据', '数据']102015.0不限
天津4997天津天津丰赢未来科技有限公司66805['技能培训', '带薪年假', '绩效奖金', '岗位晋升']丰赢未来少于15人['李七庄']技术后端开发本科移动互联网,数据服务2343332五险一金,补充医疗保险,带薪休假,话补大数据工程师数据挖掘方向['大数据', '数据挖掘', '数据']152017.55-10年
5001天津天津呆萌小斑马科技有限公司92444['股票期权', '带薪年假', '帅哥多', '美女多']AIRCOS15-50人NaN技术后端开发本科移动互联网2472967股票期权、弹性工作、美女多数据工程师['数据']122016.0不限
4995天津北京极数科技有限公司132876['股票期权', '年终分红', '带薪年假', '领导好']数极客少于15人['华明']技术后端开发本科数据服务,企业服务1934925大数据平台 创业机会 高额股份期权大数据开发高级工程师['大数据', '数据库', '数据']102015.03-5年
广州4074广州三七互娱(上海)科技有限公司658['绩效奖金', '五险一金', '通讯津贴', '交通补助']三七互娱500-2000人['天河公园', '棠下', '天园']技术高端技术职位本科游戏1110078互联网30强企业 团队年轻化数据总监['数据']306045.05-10年
4072广州广州铁人网络科技有限公司8695['技能培训', '专项奖金', '股票期权', '带薪年假']阿里移动事业群-PP助手150-500人['员村', '天河公园', '棠下']技术后端开发本科移动互联网2434980年终分红,五险一金,股票期权,免费三餐资深数据平台研发工程师['平台', '后端开发', '数据']305040.05-10年
4094广州优视科技有限公司2202['年度分红', '年度奖金', '股票期权', '每年2次加薪']阿里巴巴移动事业群-UC2000人以上['员村', '天河公园', '棠下']技术高端技术职位本科移动互联网817308包四餐(下午茶)、无息贷款买楼车、双休数据研发工程师(实时方向)['数据']305040.05-10年
成都4652成都成都数联铭品科技有限公司42711['带薪年假', '绩效奖金', '扁平管理', '定期体检']BBD150-500人NaN技术高端技术职位本科电子商务,数据服务2324434带薪年假、扁平管理、发展空间、上市规划大数据研发总监['大数据', '数据']508065.05-10年
4658成都上海行邑信息科技有限公司52905['股票期权', '心不累', '绩效奖金', '岗位晋升']Maxent15-50人['石羊']技术高端技术职位本科移动互联网,数据服务1317528能力越大,责(quan)任(li)越大大数据架构师['大数据', '架构师', '数据']204030.05-10年
4656成都成都运力科技有限公司19365['快速成长型', '薪酬优厚', '股票期权', '扁平化管理']货车帮500-2000人NaN技术后端开发本科移动互联网,电子商务2437522优厚薪酬 期权计划 下午茶晚餐 滴滴打车高级大数据工程师['大数据', '数据']204030.05-10年
杭州4557杭州上海徕木电子股份有限公司106239['节日礼物', '绩效奖金', '美女多', '帅哥多']徕木电子2000人以上['仓前']职能高端职能职位本科移动互联网,其他2032485平台前景 股份 能实现财务自由业务数据分析专家['数据分析', '数据']408060.0不限
4442杭州厦门市云客网络科技有限公司23573['年终分红', '绩效奖金', '股票期权', '专项奖金']厦门市云客网络科技有限公司50-150人NaN技术后端开发大专移动互联网,电子商务2478818五险一金大数据工程师['大数据', '数据']408060.03-5年
4518杭州广州库牌电子有限公司154782NaN库牌15-50人['西溪']开发/测试/运维类数据开发本科移动互联网2522123弹性上班时间,股票期权大数据挖掘工程师['总监', '资深', '高级', '爬虫', '数据挖掘', '大数据', '数据挖掘'...306045.05-10年
武汉4825武汉武汉斗鱼网络科技有限公司37236['技能培训', '绩效奖金', '年度旅游', '管理规范']斗鱼直播500-2000人['关山', '光谷', '鲁巷']开发/测试/运维类安全本科移动互联网2551255专业,核心,数据脱敏高级数据安全工程师['专家', '数据', '安全']183526.55-10年
4799武汉至易科技武汉有限公司130686NaN至易科技15-50人['车站', '永清', '江滩']技术后端开发不限移动互联网,电子商务2491598五险一金,节日福利,带薪年假大数据['大数据', '数据']203025.03-5年
4834武汉纽海信息技术(上海)有限公司8581['技能培训', '节日礼物', '带薪年假', '岗位晋升']1号店2000人以上NaN技术DBA本科移动互联网2514347电商平台,大数据,高薪资高福利。BI数据架构师['架构师', '数据', 'BI']203025.05-10年
深圳1364深圳华为技术有限公司3060['技能培训', '节日礼物', '股票期权', '绩效奖金']华为技术有限公司2000人以上NaN开发/测试/运维类运维安全本科移动互联网,企业服务2573388高薪~期权~安全数据分析专家['专家', '安全', '网络安全', '病毒分析', '数据分析', '数据']5010075.05-10年
1379深圳武汉佰钧成技术有限责任公司16831['带薪年假', '计算机软件', '管理规范', '定期体检']武汉佰钧成技术有限公司2000人以上['坂田', '万科城']开发/测试/运维类数据开发本科移动互联网,分类信息2568716五险一金,免费班车大数据架构师['资深', '数据分析', '数据挖掘', '机器学习', '图形处理', '人工智能']407055.05-10年
1396深圳深圳市明睿投资管理咨询有限公司120028NaN明睿投资50-150人NaN技术管理岗本科移动互联网,金融2040814薪酬待遇丰厚数据架构师['架构师', '数据']385848.05-10年
苏州4976苏州智慧芽信息科技(苏州)有限公司35384['技能培训', '年底双薪', '节日礼物', '绩效奖金']智慧芽150-500人NaN技术高端技术职位本科移动互联网2064345大数据方向,行业前景广阔大数据专家['大数据', '数据']253530.05-10年
4980苏州同程网络科技股份有限公司3564['绩效奖金', '股票期权', '专项奖金', '年底双薪']同程旅游2000人以上NaN技术高端技术职位本科移动互联网,旅游1818358扁平管理 发展潜力大 成熟团队高级大数据架构师['大数据', '架构师', '数据']204030.05-10年
4975苏州苏州思必驰信息科技有限公司94['年底双薪', '五险一金', '弹性工作', '年度旅游']思必驰科技150-500人['独墅湖']开发/测试/运维类软件开发硕士企业服务2578959国内一流语音技术团队数据分析平台架构师['架构师', '数据分析', '数据', '平台']203527.55-10年
西安4885西安深圳市易流科技有限公司5672['绩效奖金', '年底双薪', '五险一金', '股票期权']易流500-2000人NaN技术高端技术职位本科移动互联网2003822老板nice,氛围好,提升机会多~数据团队负责人['数据']304035.05-10年
4879西安北京天晓科技有限公司157418['年底双薪', '绩效奖金', '五险']天晓科技50-150人['郭杜']开发/测试/运维类软件开发本科数据服务,其他2574659这是实现你人生价值最好的平台云计算、大数据(Hadoop\Spark) 技术经理(架构师)['架构师', '系统集成']153022.53-5年
4883西安北京卡洛其咨询有限公司143385NaN北京卡洛其15-50人['三元桥']技术后端开发本科金融2351139十三薪,带薪病假,六险一金,十天年假数据工程师['后端开发', '数据']102015.05-10年
长沙4929长沙益丰大药房连锁股份有限公司6628['年底双薪', '绩效奖金', '五险一金', '免费午餐']益丰大药房2000人以上NaN市场与销售市场/营销本科电子商务,医疗健康2316232上市公司包吃包住五险一金周末双休年终双薪统计分析师['分析师']102015.01-3年
4940长沙天闻数媒科技(北京)有限公司95484['专项奖金', '绩效奖金', '岗位晋升', '领导好']天闻数媒150-500人['洞井铺']技术后端开发本科教育,文化娱乐2182674弹性工作大数据开发工程师['大数据', '数据库', '数据']102015.03-5年
4934长沙长沙网舜科技有限公司66137['年底双薪', '节日礼物', '技能培训', '绩效奖金']网舜科技50-150人['麓谷', '麓谷锦园', '汽车西站']技术DBA大专移动互联网,电子商务1708654带薪年假 年底双薪 包吃住 五险一金DBA数据分析师['分析师', '数据分析', '数据库', 'DBA', '数据']91813.53-5年

agg

agg聚合,但是不会对组内拆分

#position.groupby('city').mean()
position.groupby('city').agg('mean')
  • 1
  • 2
companyIdpositionIdbottomtopavg
city
上海58926.0268322.165841e+0612.82765721.80598617.316821
北京54634.3300392.203200e+0613.61499523.58823518.601615
南京62690.4512202.255362e+068.07317113.97561011.024390
厦门65063.1666671.950048e+067.70000014.23333310.966667
天津72552.3500002.221607e+066.30000010.2000008.250000
广州60290.0029942.216999e+069.41317416.04491012.729042
成都72924.3984962.213931e+069.52631616.37594012.951128
杭州52364.7599012.200003e+0611.86881221.05940616.464109
武汉59865.0579712.123315e+068.10144914.49275411.297101
深圳59699.8218392.135657e+0612.72222222.34482817.533525
苏州47339.4594592.141410e+0610.59459518.51351414.554054
西安71262.7600002.183366e+067.34000012.70000010.020000
长沙56073.0400002.130448e+066.96000012.2400009.600000
#agg调用多种聚合方法
position.groupby('city').agg(['mean','sum'])
  • 1
  • 2
companyIdpositionIdbottomtopavg
meansummeansummeansummeansummeansum
city
上海58926.026832570993202.165841e+06209869963112.8276571243021.8059862113017.31682116780.0
北京54634.3300392266232012.203200e+06913887427613.6149955647523.5882359784418.60161577159.5
南京62690.45122051406172.255362e+061849397058.07317166213.975610114611.024390904.0
厦门65063.16666719518951.950048e+06585014387.70000023114.23333342710.966667329.0
天津72552.35000014510472.221607e+06444321396.30000012610.2000002048.250000165.0
广州60290.002994201368612.216999e+067404777559.413174314416.044910535912.7290424251.5
成都72924.39849696989452.213931e+062944528219.526316126716.375940217812.9511281722.5
杭州52364.759901211553632.200003e+0688880125111.868812479521.059406850816.4641096651.5
武汉59865.05797141306892.123315e+061465087658.10144955914.492754100011.297101779.5
深圳59699.821839311633072.135657e+06111481303812.722222664122.3448281166417.5335259152.5
苏州47339.45945917515602.141410e+067923216110.59459539218.51351468514.554054538.5
西安71262.76000035631382.183366e+061091682807.34000036712.70000063510.020000501.0
长沙56073.04000014018262.130448e+06532612036.96000017412.2400003069.600000240.0
#agg只能对分组后进行聚合运算,它只能返回一个分组一行的结果
#position.groupby('city').agg(func,N=3,asc=False)报错
position.groupby('city').agg(lambda x:max(x)-min(x))
  • 1
  • 2
  • 3
companyIdpositionIdbottomtopavg
city
上海1570902406115499873.5
北京1576222482622599873.5
南京1486641476696192823.5
厦门1444942382465172621.5
天津1288271938475131614.5
广州1565452433163295843.5
成都1576911827551497863.5
杭州1563762176582387757.5
武汉1466621900647193325.0
深圳1568782500258499873.5
苏州1351052401790223526.0
西安1545681299798283732.5
长沙145079195845481712.5
声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号