用Python采集动态网页Requests就不那么好用了，试试Selenium

Requests + BeautifulSoup + 额外的库：

对于一些简单的动态内容，你能通过分析网络请求来找到并直接获取这些数据。

使用 requests 库来发送 HTTP 请求，并使用 BeautifulSoup 来解析 HTML。

对于 AJAX 请求，你可能需要使用额外的库（如 mitmproxy 或 BrowserMob Proxy）来拦截和分析这些请求。

这种方法需要深入了解目标网页的工作原理和数据加载方式。

采集动态网页，通常指的是抓取那些通过 JavaScript、AJAX 或其他客户端脚本技术动态生成内容的网页。这种网页在初始加载时可能只包含基本的 HTML 结构，而实际的数据和内容则是通过客户端脚本在浏览器加载后从服务器获取并动态添加到页面中的。

为了采集这样的网页，你不能仅仅依赖简单的 HTTP 请求来获取 HTML 内容，因为这样会错过由 JavaScript 加载的数据。相反，你需要模拟浏览器的行为，执行 JavaScript 并等待页面加载完成。

以下是一些 Python 工具和方法，可以帮助你采集动态网页：

一、Selenium：

Selenium 是一个自动化测试工具，但它也可以用来采集动态网页。

你可以使用 Selenium 启动一个浏览器实例，并控制它加载和交互网页。

一旦页面加载完成，你可以获取完整的 DOM 结构，包括由 JavaScript 动态添加的内容。

示例代码：

from selenium import webdriver  
  
driver = webdriver.Chrome()  # 使用 Chrome 浏览器  
driver.get("http://example.com/dynamic-page")  # 加载动态网页  
  
# 等待页面加载完成  
# 这里使用了隐式等待，你可以根据需要调整等待时间  
driver.implicitly_wait(10)  
  
# 获取完整的 HTML 内容  
html_content = driver.page_source  
  
driver.quit()  # 关闭浏览器实例`

二、Pyppeteer：

Pyppeteer 是 Puppeteer 的 Python 版本，它提供了一个高级的 API 来通过 DevTools 协议控制 Chrome 或 Chromium。

你可以使用 Pyppeteer 启动一个无头浏览器（没有用户界面的浏览器），并执行 JavaScript 代码。

示例代码：

from pyppeteer import launch  
  
async def main():  
    browser = await launch()  
    page = await browser.newPage()  
    await page.goto('http://example.com/dynamic-page')  
      
    # 等待页面加载完成  
    await page.waitForSelector('some-selector')  # 等待某个元素出现  
      
    # 获取完整的 HTML 内容  
    html_content = await page.content()  
      
    await browser.close()  
  
# 运行主函数  
import asyncio  
asyncio.get_event_loop().run_until_complete(main())`

在采集网页时，务必遵守目标网站的 robots.txt 文件和相关法律法规，不要进行恶意爬取或滥用服务。