计算机毕业设计Hadoop+Spark+Hive知识图谱租房推荐系统 租房数据分析 租房爬虫 租房可视化 租房大数据 大数据毕业设计 大数据毕设 机器学习_房屋租赁系统代码设计hive

毕业技术方向调查表

姓名：    李昌福    

核心算法代码分享如下：

import csv
from snownlp import SnowNLP
#如果有英文逗号就复制下面的代码修改
#都是在弥补没对moc.py的111行前后的nickname字段进行处理！代码已经优化
with open('58.csv', 'r',encoding='utf-8') as file58 :
    reader58 = csv.reader(file58)
    errors = 0
    for row in reader58:
        #租房表正常是按照,分割出21个字段，如果多了一个逗号，分割的字段指定大于21，识别为异常行直接舍弃
        address=row[12]
        house_desc=row[18]
        agent_name=row[15]
        house_area=row[5]
        row[18]=house_desc.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('\r', '')
        row[12]=address.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('\r', '')
        row[5] = house_area.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('平', '')
        house_decora=row[6]
        toward=row[7]
        floor=row[8]
        floor_height=row[9]
        row[6] = house_decora.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('\r', '')
        row[7] = toward.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('\r', '')
        row[8] = floor.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('\r', '')
        row[9] = floor_height.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('\r', '')
 
        # 情感分析
        try :
            s = SnowNLP(row[18][0:30])
            # print(s.words)  # 返回分词结果
            # join = '|'.join(s.words)
            # print(join)
            print(s.sentiments)  # 返回该句话的情感得分
            sentiments = s.sentiments
        except :
            print('nlp分类报错')
            sentiments=0
        house_pay=row[1]
        house_desc=row[1]
        row[1] = house_pay.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('元/月', '')
        if house_pay==' ' or len(house_pay)==0:
            errors=errors+1
            print('租金异常',house_pay)
            continue
        if ',' in address or '"' in address :
            print('异常数据',address,row)
            row[12]=address.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('','')
            errors=errors+1
        if floor_height==' ' and len(floor)>0:
            print('floor_height空值处理',row)
            row[9]=floor.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('层', '')
            errors = errors + 1
        elif floor_height==' ' and len(floor)==0 :
            errors = errors + 1
            continue
        else :
            row[9] = floor_height.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('', '').replace('层',  '')
        if  agent_name==' ':
            print('agent_name空值处理',row)
            row[15]='暂无经纪人(新发布)'
            errors = errors + 1
        else :
            row[15] = agent_name.strip().replace(',', '|').replace('"', '').replace("\n", '').replace('', '').replace('(经纪人)', '')
        row.append(sentiments)
        rent_file = open("rent.csv", mode="a+", newline='', encoding="utf-8")
        rent_writer = csv.writer(rent_file)
        rent_writer.writerow(row)
        rent_file.close()
    print('处理非法行数：',errors)