django爬取网页数据并展示_django 抓取别的网页显示到自己这里

作者：天景科技苑 | 2024-08-06 23:44:52

踩

django 抓取别的网页显示到自己这里

一、目标

爬取目标网站的新闻标题，通过Django展示到自己的网页中来；

目标网站网址：http://www.chinaunicom.com.cn/news/list202110.html

二、代码

视图函数：views.py


# 联通新闻中心数据爬取处理展示
def news(request):
    import requests
    from bs4 import BeautifulSoup
    url = 'http://www.chinaunicom.com.cn/news/list202110.html'
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}
    res = requests.get(url, headers=headers)
    res.encoding = res.apparent_encoding
    soup = BeautifulSoup(res.text, 'html.parser')
    list = []
    for t in soup.find_all(name="h2"):
        for item in t.find_all(name="a"):
            list.append(item.text)
    return render(request,'news.html',{'news_list':list})
'运行

前段html文件代码：news.html


<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>联通新闻中心数据处理</title>
</head>
<body>
    <h1>联通新闻中心数据爬取展示</h1>
    <ul>
        {% for item in news_list %}
            <li>{{ item }}</li>
        {% endfor %}
    </ul>
</body>
</html>

结果展示：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/天景科技苑/article/detail/939870