Django plus Scrapy

Django plus Scrapy

更多详情尽在 torna.top

初始化项目

依次在项目文件夹执行以下命令：

1. 初始化 django 项目

# 安装 django
pip install django

# 新建 django 项目
django-admin startproject django_scrapy

# 进入项目目录
cd django_scrapy

# 创建 app1 应用
python manage.py startapp app1

2. 创建 scrapy 项目

# 安装 scrapy 以及相关依赖包
pip install scrapy scrapyd scrapy-client scrapy_djangoitem

# django 项目中新建 scrapy 项目
scrapy startproject scrapy_project

3. 配置 scrapy 项目

[settings]
default = scrapy_project.settings

[deploy:douban] # 设置部署名
url = http://localhost:6800/ # 这里默认注释，现在解开注释
project = scrapy_project  # 这里是 scrapy 项目名称

4. 查看项目目录结构

tree # 在django项目根目录下执行

D:django_scrapy
├─scrapy_project
│  └─scrapy_project
│  │   └─__init__.py
│  │   └─items.py
│  │   └─middlewares.py
│  │   └─pipelines.py
│  │   └─settings.py
│  │   └─spiders
│  │       └─__init__.py
│  │       └─example.py
│  └─scrapy.cfg
├─app1
│  └─migrations
│  └─ __init__.py
│  └─admin.py
│  └─apps.py
│  └─models.py
│  └─tests.py
│  └─views.py
└─django_scrapy
│   └─__init__.py
│   └─asgi.py
│   └─settings.py
│   └─urls.py
│   └─wsgi.py
├─ manage.py

配置 scrapy

1.在 Scrapy 项目中集成 Django 的设置

在 Scrapy 的 settings.py 中加入以下代码

# 这段代码将当前项目的路径添加到 Python 的系统路径中，以便 Python 可以找到 Django 项目。
import os
import sys
sys.path.append(os.path.dirname(os.path.abspath('.')))

# 这行代码设置了 DJANGO_SETTINGS_MODULE 环境变量，告诉 Django 使用 scrapy_project.settings 作为设置模块。你需要将 'scrapy_project.settings' 替换为你的 Django 项目的实际设置模块。
os.environ['DJANGO_