批量提取网页表格内容至excel文件

作者：神奇cpp | 2024-07-16 17:23:26

踩

批量提取网页表格内容至excel文件

问题背景

将网页的表格内容（5237个股票信息）复制粘贴到excel文件中

网址：A股上市公司名单-A股上市公司名录-A股上市公司大全-商业计划书-可研报告-中商产业研究院数据库-中商情报网

实现代码


# 导入包
import pandas as pd
import time
 
# 创建空列表
df_list = []
 
# 循环读取并拼接网页表格
for i in range(5):
    df = pd.read_html(f'https://s.askci.com/stock/a/0-0?reportTime=2024-03-31&pageNum={i+1}#QueryCondition')
    # 将df拼接到列表中
    df_list.append(df[3])
    # 每次循环休息1秒钟
    time.sleep(1)
 
# 拼接所有表
all_df = pd.concat(df_list, ignore_index=True)
print(all_df)
 
# 写入 Excel
all_df.to_excel('./爽解决.xlsx')

实现效果

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/835440