Mac下的Python环境搭建开发常用总结(持续更新...)_diago python

1.更改pip至国内镜像,显著提升下载速度

Mac系统下：

可以在使用pip的时候加参数

-i https://pypi.tuna.tsinghua.edu.cn/simple
1

临时使用->

例：
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple
永久使用->

进入根目录：cd ~/
进入.pip目录 cd .pip
如果不存在文件夹就新建mkdir .pip
进入 cd .pip
创建pip.conf文件 touch pip.conf
修改：vim pip.conf

[global]
index-url=http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
1
2
3
4

2.更改py环境为虚拟环境

首先通过命令 pip list查看当前python版本下所安装的库有哪些，
然后再开始安装虚拟环境：
第一步:创建目录

通过mkdir创建目录：mkdir myproject
通过cd进入目录下：cd myproject
1
2

第二步:创建一个独立的Python运行环境，命名为venv

virtualenv --no-site-packages venv
命令virtualenv就可以创建一个独立的Python运行环境，我们还加上了参数--no-site-packages，这样，已经安装到系统Python环境中的所有第三方包都不会复制过来，这样，我们就得到了一个不带任何第三方包的“干净”的Python运行环境。
1
2

第三步:通过source进入当前的环境

source venv/bin/activate
(venv)Mac:myproject michael$
1
2

当前面显示了venv的标识后，再使用pip对环境安装依赖库

退出虚拟环境

deactivate
1

3.pip一次性安装依赖库

pip install -r requirements.txt
1

txt的文档内容如下：

arrow==0.12.1
jmespath==0.9.3
lxml==4.1.1
more-itertools==4.3.0
numpy==1.15.0
pandas==0.23.4
pymongo==3.5.0
pytest==3.7.1
redis==2.10.6
requests==2.18.1
Scrapy==1.5.1
SQLAlchemy==1.2.8
ujson==1.35
fire==0.1.3
python-dotenv==0.9.1
alembic==1.0.0
psycopg2==2.7.5
coverage==4.5.1
pytest-env==0.6.2
pillow==5.2.0
openpyxl==2.5.7
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

前提是到其txt文件中的路径下

4.docker的安装出错

Unable to find image 'hello-world:latest' locally
1

需要改变docker的镜像，参考链接如下：https://www.docker-cn.com/registry-mirror
然后将docker的键值添加进去即可

"registry-mirrors": ["https://registry.docker-cn.com"]
1

安装完毕后，通过docker run hello-world来验证是否安装成功

5.brew的安装

brew是mac下的软件包管理工具，通过它可以很方便的安装/卸载软件工具等，
在终端下执行：

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
1

接着就可以通过brew cask install 来安装工具包，比如：

brew cask install docker
1

6.使用brew安装其他必要库

brew cask install postman
brew cask install tunnelblick
brew cask install typora
brew cask install wireshark
1
2
3
4

7.command+， 快捷键打开setting

对于大多数的编辑器IDE而言，通过command+，可以快速切换至settings的页面；

8.当在IDE中遇到import出error

原因有两个，一个是如果外部库出error，则是对应py环境的问题，可以通过更换py的环境来进行解决；
另一个如果调用内部的文件出现error，则将source源换为当前内部文件下的源source即可。

9.terminal中的快捷键

ctrl + u 消除命令行内的语句
command +回车 放大terminal至全屏
command + + 放大terminal中显示的字体
1
2
3

10.docker相关命令

通过docker-compose up命令来启动docker的相关服务；
docker-compose up启动的容器都在前台，控制台将会同时打印所有容器的输出信息，可以很方便进行调试。
如果使用docker-compose up -d，将会在后台启动并运行所有的容器。一般推荐生产环境下使用该选项。

通过docker ps来查看当前docker启动
dock参考文档

11. docker启用出现lost

下次再compose的话，需要先将同路径下的data文件夹删除删除的方法为：

#先查询下当前路径下有无生成的data文件夹
ls
#有的话对data文件夹进行删除
rm -rf data
1
2
3
4

12.使用alembic进行数据库版本管理

#导入相关配置，更新表结构
alembic upgrade head
#查看当前的版本
alembic current
1
2
3
4

13.查看当前python环境下安装的库

python --verson
pip list
1
2

14.查看terminal下当前的位置路径

pwd
1

15.使用pgcli连接PostgreSQL

pgcli -h主机名 -p端口号 -U用户名 -d数据库
#用\dt开始查表
\dt
用\q推出数据库命令行界面
\q
1
2
3
4
5

进入到数据库界面后，通过\dt来查看当前库中的表
通过\q可以退出数据库进入到原来的terminal界面

16.设置本地环境变量为test

export DITING_ENV=test
1

注意！！！配置环境变量注意每次都要在虚拟环境下运行！！！否则会出现没有连接的错误！
当出现scrapy卡到某一行，但是出现的200的返回response，先要去考虑是不是本地环境变量没有设置。

17.在项目中查找某条语句

右键项目，find in path

18.alembic 生成 migration

alembic revision --autogenerate -m "update test111111"
1

19.验证docker是否安装成功

docker run hello-world
ubantu下：
docker run -it ubuntu bash

1
2
3
4

20. mac下安装docker

brew cask install docker
1

21.检查docker配置的加速器是否生效

docker info
1

22.migrations重新配置

对migrations生成的数据库文件进行重新配置：
1.将配置文件删除；
2.将数据库中的alembic_version表删除；
3.使用alembic revision --autogenerate -m "update test111111" 进行数据库重建；
4.导入相关配置alembic upgrade head
5.查看表结构中字段是否重新生成

23.当import引入路径出现错误时

需要查看：
1.文件source的基础位置是否对应：
设置source的方法，右键Mark Directory as ，然后选为source；
2.在命令行运行的过程中，py配置的环境是否为要求的当前环境下运行；

24.查看连接数据库的映射

docker-compose ps
1

25.pycharm中的代码格式化

option+command+L     ⌘⌥L 格式化代码
对代码进行自动标准格式化
⌘+ /⌘- 展开 / 折叠代码块
⇧↩ 开始新的一行
1
2
3
4

26.Scrapy爬虫查看爬取日志的方法

scrapy crawl jd_comment -a keyword=豆浆机 -L INFO
1

27.scrapy遇到的常见错误-Unknown command: crawl

没有cd到项目根目录，因为crawl会去搜搜cmd目录下的scrapy.cfg

28.将docker相关服务停止与启动

docker-compose down
docker-compose up
1
2

29.git的push和commit

git commit -m  "name"
git push -f origin dev
1
2

30.git的冲突解决

git stash pop
1

31.chromdriver的配置

下载路径：chromdriver合集
火狐driver
配置环境变量：将chromdriver放在usr/local/bin的目录下
进入usr/local/bin目录：在访达处输入command + shift + G输入路径

32.pycharm设置项目根目录

33.diago中的环境配置

export DJANGO_SETTINGS_MODULE=app.settings.dev
1

34.启动docker的配置：含有docker.dev的情况

docker-compose -f docker-compose.dev.yml up -d
1

35.docker启动失败的原因：

# 启动失败的报错信息
Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
(venv) dapengdeMacBook-Pro:diting-crawler-manager dapeng$ docker-compose -f docker-compose.dev.yml up -d

通过在docker中preference的basic中添加字段：https://registry.docker-cn.com

1
2
3
4
5
6

36.查找本地ip地址

ifconfig en0
1

37.更改为本地配置的变量环境

export DJANGO_SETTINGS_MODULE=app.settings.dev
1

38.docker下启动应用

python manage.py startapp herotest
1

39.当fork下来的运行有问题时，首要看docker-compose中的端口是否和本地的对应！！！！

40.拿不准的时候多用repr() 函数，少用print

41.Mac 终端Terminal光标移动快捷键

将光标移动到行首：control + a
将光标移动到行尾：control + e

42.Python的Date和Datetime

1. Date 类型
from datetime import date
d = date.today()

2.Datetime类型
from datetime import datetime
d = datetime.now()
1
2
3
4
5
6
7

43.通过extend实现列表的合并：

a = [1,2,3]
b = [4,5,6]
a.extend(b)
print(a)
------------
a = [1,2,3,4,5,6]
1
2
3
4
5
6

44.判断字典是否有key：

#生成一个字典
d = {'name':Tom, 'age':10, 'Tel':110}
#打印返回值，其中d.keys()是列出字典所有的key
print ‘name’ in d.keys()
# 遍历字典，默认遍历其keys
print 'name' in d
1
2
3
4
5
6

(持续更新…)