赞
踩
分享88个ASP江湖论坛源码,总有一款适合您
88个ASP江湖论坛源码下载链接:https://pan.baidu.com/s/1T2VYYz7x_PE_xL1WeWQcIQ?pwd=8c60
提取码:8c60
Python采集代码下载链接:采集代码.zip - 蓝奏云
我的博客地址:亚丁号-知识付费平台 支付后可见 扫码付费可见
一江贴吧V2.0
陨落论坛 1.0版
动网论坛St007狂乱版
浪子驿站7.0SP2最终版
-
- class CNSourceCoder:
- base_url = "http://www.downcode.com"
- base_path = "D:\\Freedom\\Sprider\\CNSource"
- sprider_count = 88
- sprider_start_count = 310
-
- first_folder_name = "ASP"
- max_pager = 10 # 每页的数量 影响再次采集的起始位置.
- word_image_count = 5 # word插入图片数量 同时也是明细采集图片和描述的数量
-
- page_end_number = 0
- word_content_list = []
- haved_sprider_count = 0 # 已经采集的数量
- sprider_detail_index = 0 # 明细方法采集的数量 累加
-
- def sprider(self,sprider_name):
- """
- ASP留言日记源码 http://www.downcode.com/sort/j_1_2_1.shtml
- :param sprider_name:
- :return:
- """
- if sprider_name == "ASP聊天室源码":
- self.first_column_name = "sort"
- self.second_column_name = "j_1_1"
- elif sprider_name=="ASP留言日记源码":
- self.first_column_name = "sort"
- self.second_column_name = "j_1_2"
- elif sprider_name == "ASP江湖论坛源码":
- self.first_column_name = "sort"
- self.second_column_name = "j_1_3"
- elif sprider_name == "ASP新闻文章源码":
- self.first_column_name = "sort"
- self.second_column_name = "j_1_4"
-
- BaseFrame().debug("开始采集" + self.first_folder_name + "...")
- BaseFrame().right("本次采集参数:日志路径=" + str(BaseFrame().LOG_PATH) + "")
- BaseFrame().right("本次采集参数:sprider_count=" + str(self.sprider_count) + "")
- BaseFrame().right("本次采集参数:sprider_name=" + sprider_name + "")
- sprider_url = self.base_url + "/{0}/{1}_1.shtml".format(self.first_column_name, self.second_column_name)# 根据栏目构建URL
- BaseFrame().debug("本次采集参数:sprider_url=:" + sprider_url)
-
- self.second_folder_name = str(self.sprider_count) + "个" + sprider_name # 二级目录也是wordTitle
- self.merchant = int(self.sprider_start_count) // int(self.max_pager) + 1 # 起始页码用于效率采集
- self.file_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_name
- BaseFrame().right("本次采集参数:file_path=" + self.file_path + "")
- # 浏览器的下载路径
- self.down_path = self.base_path + os.sep + self.first_folder_name+ os.sep + self.second_folder_name+ "\\Temp\\"
- BaseFrame().right("本次采集参数:down_path=" + self.down_path + "")
- # First/PPT/88个动态PPT模板/动态PPT模板
- self.save_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_name + os.sep + sprider_name
- BaseFrame().right("本次采集参数:save_path=" + self.save_path + "")
-
-
- if os.path.exists(self.down_path) is True:
- shutil.rmtree(self.down_path)
- if os.path.exists(self.down_path) is False:
- os.makedirs(self.down_path)
-
- if os.path.exists(self.save_path) is True:
- shutil.rmtree(self.save_path)
- if os.path.exists(self.save_path) is False:
- os.makedirs(self.save_path)
-
- chrome_options = webdriver.ChromeOptions()
- diy_prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory': '{0}'.format(self.down_path)}
- # 添加路径到selenium配置中
- chrome_options.add_experimental_option('prefs', diy_prefs)
- chrome_options.add_argument('--headless') # 隐藏浏览器
- # 实例化chrome浏览器时,关联忽略证书错误
- driver = webdriver.Chrome(options=chrome_options)
- driver.set_window_size(1280, 800) # 分辨率 1280*800
- driver.get(sprider_url)
-
- element_list = driver.find_elements(By.CLASS_NAME, "j_text_sort_a")
- # element_list = element_ul.find_elements(By.TAG_NAME, "h2") #
- page_end_number = 1
- page_end_url = ""
- a_elments = driver.find_elements(By.TAG_NAME, "a")
- for a in a_elments:
- page_end_title = a.get_attribute("title")
- if page_end_title == "最后页":
- page_end_url = a.get_attribute("href")
- print(page_end_url)
- break
- if page_end_url is None or page_end_url == "":
- page_end_number = 1
- else:
- page_end_number = (page_end_url.split(".shtml")[0].split("_")[3])
- self.page_count = self.merchant
- while self.page_count <= int(page_end_number): # 翻完停止
- try:
- if self.page_count == 1:
- self.sprider_detail(driver,element_list, page_end_number)
- pass
- else:
- if self.haved_sprider_count == self.sprider_count:
- BaseFrame().debug("采集到达数量采集停止...")
- BaseFrame().debug("开始写文章...")
- SpriderTools.builder_word(self.second_folder_name,
- self.word_content_list,
- self.file_path,
- self.word_image_count,
- self.first_folder_name )
- SpriderTools.copy_file(self.word_content_list,
- self.save_path,
- self.second_folder_name,
- self.file_path)
- SpriderTools.gen_passandtxt(self.second_folder_name, self.word_content_list, self.file_path)
- BaseFrame().debug("文件编写完毕,请到对应的磁盘查看word文件和下载文件!")
- break
- next_url = self.base_url + "/{0}/{1}_{2}.shtml".format(self.first_column_name,
- self.second_column_name,
- self.page_count)
-
- driver.get(next_url)
- element_list = driver.find_elements(By.CLASS_NAME, "j_text_sort_a")
- self.sprider_detail(driver, element_list, page_end_number)
- pass
- self.page_count = self.page_count + 1 # 页码增加1
- except Exception as e:
- print("sprider()执行过程出现错误:" + str(e))
E民部落论坛-第二版
陨落修改 艺龙皮肤DV7.0SP2论坛
公子网络交流论坛(含数据)
7cbbs快乐为本修改版
中國NBD網絡美化版論壇SP2全插件版
Bbsxp快乐为本美化版
青春海洋Dvbbs Version 7.0.0 Sp2整合程序
思洋网络之超酷风格论坛
PaintBlue BBS V2.1SQL(Sp2) 简体中文版
梦想论坛V3.0 FOR DVBBS7.2 超级美化版
大唐社区 V3.1版
中国NBD网络动易美化风格
情缘驿站美化版
雪人论坛1.5城市女孩终极美化版
爱我运城网论坛~新年版
华夏商务休闲论坛整站程序(商业版)
梦想论坛 FOR DVBBS7.2 完全插件美化版
紫金论坛音乐播放器《二》
紫金论坛音乐播放器《一》
莒县交友论坛美化版
DVbbs 7.0 集成Sp2 疯一样的男子美化版
6K论坛 Lqtoy美化版 V3.0(全功能)
战方论坛新年版!
守望麦田论坛
『一分流水』论坛2005
流淌的岁月动网论坛无保留全插件美化版提供下载
明兴生Qzmxs Mxs 3.5 免费版
Dvbbs 7.0 SP2 冷瑜阁美化无错版 V1.0
飞蝴论坛
动网论坛 2005贺岁繁体版(SP2)
雨丝V美化论坛
龙川论坛完整版
流淌的岁月论坛程序7.0SP2
中国金融论坛8.0
动网论坛 2005贺岁版(SP2)
香巴拉论坛
梦想家园LEADBBS美化版
网秀网络论坛(无错版)
兄弟社区仿新浪西司大论坛
絮语腾飞社区 For Dv7 Sp2
《紫金论坛完整下载》与版块数据12.09
笨笨火狐@论坛无错V2.2
ATNET ASP Bbs V2005 繁體版
ATNET ASP Bbs V2005 簡體版
中国远程先锋白色靓妆版论坛
6kbbs V7.0 Badboy美化修改版
DVBBS7.0sp2论坛与紫金论坛风格完整无错
向左向右+E民部落美化修改版+
紫金家园论坛修正版
6kbbs V7.0 美化插件2版
午夜都市黑色安全版论坛
飞跃工作室论坛程序V5.4
智战系列-情人岛江湖Ver3.0版
笨笨火狐无错论坛 V2.1
创业98论坛
IvBoard V1.0
世纪前沿网论坛
中国远程先锋黑色安全版论坛
6k 论坛 V7.0
6kBBS V7.0 与非儿美化修改版
华夏传播论坛
动网论坛最新IP地址数据库(165501条 2004年11月5日)
Cq2s树型论坛之001论坛风格版 V4.0
Cq2s树型论坛 V4.0
新绝对零度论坛V2.0
韩城链网址最新论坛BBSXP5.10版本
恩雨社区水晶版
- import os
- import shutil
-
- def void_folder(path):
- # 访问path路径下的文件或文件夹
- lst = os.listdir(path)
- # 打印每一层的文件或文件夹
- for name in lst:
- # 拼接名称,得到绝对路径,判断该文件是否符合是文件夹
- real_path = os.path.join(path, name)
- # 如果是文件夹,则打空格表示,并且递归访问下一层
- if os.path.isdir(real_path):
- # print(name)
- files = os.listdir(real_path)
- if len(files) == 0:
- print("void_folder():"+name)
- shutil.rmtree(real_path)
- endindex = len(real_path) - len(name)
- real_path = real_path[0:endindex]
- void_folder(real_path)
- else:
- void_folder(real_path)
- # 如果不是文件夹,直接打印,不再递归访问下一层
- else:
- #print(name)
- pass
- def void_file(dirPath):
- dirs = os.listdir(dirPath) # 查找该层文件夹下所有的文件及文件夹,返回列表
- for file in dirs:
- file_full_name = dirPath + '/' + file
- file_ext = os.path.splitext(file_full_name)[-1]
- if file_ext is None or file_ext=="":
- continue
-
- if "rar" == str(file_ext.split(".")[1]):
- os.remove(file_full_name)
- if "zip" == str(file_ext.split(".")[1]):
- os.remove(file_full_name)
- if "gz" == str(file_ext.split(".")[1]):
- os.remove(file_full_name)
- if "tgz" == str(file_ext.split(".")[1]):
- os.remove(file_full_name)
-
- # 查找指定文件夹下所有相同名称的文件
- def search_file(dirPath, fileName):
- dirs = os.listdir(dirPath) # 查找该层文件夹下所有的文件及文件夹,返回列表
- for currentFile in dirs: # 遍历列表
- absPath = dirPath + '/' + currentFile
-
- if os.path.isdir(absPath): # 如果是目录则递归,继续查找该目录下的文件
- search_file(absPath, fileName)
- elif currentFile == fileName:
- print(absPath) # 文件存在,则打印该文件的绝对路径
- os.remove(absPath)
衡水人家社区
梦琰论坛V2.1特别版
本色时代论坛3.0版
孤风论坛2004 精简版
IETOP社区论坛 V1.0
学生社团网络管理平台
友盟论坛JoinBoard BBS V2.0.2
Bussoft CSK V1.10
水漫三D社区 V2.1
『五彩之城』社区论坛美化插件版2004
尚园美地音乐Bbs,Dvbbs完美插件版
酷仔工作室美化论坛 V1.0 (Dvbbs 7.0 Sp2修改版)
今晚在线论坛GVBBS V5.0 Build 0929
恋恋南昌友情版2004
过路虫社区Wayworm V1.0
雪人论坛程序V2.0 For Access (免费版)
PaintBlue BBS V2.0 Final2 简体中文版
最后送大家一首诗:
山高路远坑深,
大军纵横驰奔,
谁敢横刀立马?
惟有点赞加关注大军。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。