当前位置:   article > 正文

Scrapy ImportError: No module named items

no module named items

项目github地址:bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star,留言,一起学习进步

1.问题描述

在执行scrapy crawl命令爬取数据的时候,代码报了以下错误:

ImportError: No module named items
  • 1

但显然我们代码里面是有items这个类的。那问题出现在哪里呢?
求助万能的stack overflow,发现正好有谈到这个问题。

2.问题产生原因

简单一句话来描述就是:
爬虫的名字跟项目的名字一样,导致最终导入的时候出错

3.解决方案

stackoverflow给的方案里有三种:
1.改项目名称
2.改爬虫名称
3.在爬虫的代码里加入from __future__ import absolute_import

前两种方案都是为了使项目的名字与爬虫的名字不一致,后一种方案则是为了改变import的方式。

4.absolute_import小结

from __future__ import absolute_import
  • 1

这句 import 并不是指将所有的导入视为绝对导入,而是指禁用 implicit relative import(隐式相对导入), 但并不会禁掉 explicit relative import(显示相对导入)。

那么到底什么是隐式相对导入,什么又是显示的相对导入呢?我们来看一个例子,假设有如下包结构:

thing
├── books
│   ├── adventure.py
│   ├── history.py
│   ├── horror.py
│   ├── __init__.py
│   └── lovestory.py
├── furniture
│   ├── armchair.py
│   ├── bench.py
│   ├── __init__.py
│   ├── screen.py
│   └── stool.py
└── __init__.py
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

那么如果在 books 中引用 bench,则有如下几种方式:

import bench                 # 此为 implicit relative import
from . import bench          # 此为 explicit relative import
from furniture import bench  # 此为 absolute import
  • 1
  • 2
  • 3

隐式相对就是没有告诉解释器相对于谁,但默认相对与当前模块;而显示相对则明确告诉解释器相对于谁来导入。以上导入方式的第三种,才是官方推荐的,第一种是官方强烈不推荐的,Python3 中已经被废弃,这种方式只能用于导入 path 中的模块。

参考链接:
1.http://stackoverflow.com/questions/10570635/scrapy-importerror-no-module-named-items
2.http://kuanghy.github.io/2016/07/21/python-import-relative-and-absolute

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/587206
推荐阅读
相关标签
  

闽ICP备14008679号