当前位置:   article > 正文

进阶数据库系列(一):PostgreSQL 基础入门与安装

mysql、pg等基础数据库知识

点击下方名片,设为星标

回复“1024”获取2TB学习资源!

大家好,我是民工哥!

前面我们陆续卷完了:MySQLRedisMongoDBElasticSearch大数据 Hadoop 构架等方面的知识体系的学习。

过去几年,MySQL 一直霸占着数据库流行榜的榜首。但是,随着时间的推移,PostgreSQL 以 46.5% 的使用率第一次超过 MySQL 位居第一,而 MySQL 以 45.7% 的使用率降至第二名。同为泛用性最好的开源关系型数据库,排名第一第二的 PGSQL 与 MySQL ,与其他的数据库远远拉开了距离。5da0efeb50c1b97479543f8288342a5e.png所以,从今天开始,我们进入下一个知识体系的学习:PostgreSQL 数据库

PostgreSQL 简介

PostgreSQL 是一个功能强大的开源数据库系统。经过长达15年以上的积极开发和不断改进,PostgreSQL已在可靠性、稳定性、数据一致性等获得了业内极高的声誉。目前PostgreSQL可以运行在所有主流操作系统上,包括Linux、Unix和Windows。

PostgreSQL 是完全的事务安全性数据库,支持丰富的数据类型(如JSON和JSONB类型、数组类型)和自定义类型。PostgreSQL数据库提供了丰富的接口,可以很方便地扩展它的功能,如可以在GiST框架下实现自己的索引类型,支持使用C语言写自定义函数、触发器,也支持使用流行的编程语言写自定义函数。PL/Perl提供了使用Perl语言写自定义函数的功能,当然还有PL/Python、PL/Java、PL/Tcl等。

作为一种企业级数据库,PostgreSQL以它所具有的各种高级功能而自豪,像多版本并发控制( MVCC )、按时间点恢复(PITR)、表空间、异步复制、嵌套事务、在线热备、复杂查询的规划和优化以及为容错而进行的预写日志等。它支持国际字符集、多字节编码并支持使用当地语言进行排序、大小写处理和格式化等操作。它也在所能管理的大数据量和所允许的大用户量并发访问时间具有完全的高伸缩性。

更多关于大数据 PostgreSQL 系列的学习文章,请参阅:PostgreSQL 数据库,本系列持续更新中。

官网
  • 官网地址: https://www.postgresql.org

  • 下载地址: https://www.postgresql.org/download/

  • 安装工具: https://www.pgadmin.org/download/

PostgreSQL 优势

PostgreSQL 数据库是目前功能最强大的开源数据库,它是最接近工业标准SQL92的查询语言,至少实现了SQL:2011标准中要求的179项主要功能中的160项(注:目前没有哪个数据库管理系统能完全实现SQL:2011标准中的所有主要功能)。

  • 稳定可靠:PostgreSQL是唯一能做到数据零丢失的开源数据库。目前有报道称国内外有部分银行使用PostgreSQL数据库。

  • 开源省钱:PostgreSQL数据库是开源的、免费的,而且使用的是类BSD协议,在使用和二次开发上基本没有限制。

  • 支持广泛:PostgreSQL 数据库支持大量的主流开发语言,包括C、C++、Perl、Python、Java、Tcl以及PHP等。

  • PostgreSQL社区活跃:PostgreSQL基本上每3个月推出一个补丁版本,这意味着已知的Bug很快会被修复,有应用场景的需求也会及时得到响应。

PostgreSQL 的特征

  • 多版本并发控制:PostgreSQL使用多版本并发控制(MVCC,Multiversion concurrency control)系统进行并发控制,该系统向每个用户提供了一个数据库的"快照",用户在事务内所作的每个修改,对于其他的用户都不可见,直到该事务成功提交。

  • 数据类型:包括文本、任意精度的数值数组、JSON 数据、枚举类型、XML 数据等。

  • 全文检索:通过 Tsearch2 或 OpenFTS。

  • NoSQL:JSON,JSONB,XML,HStore 原生支持,甚至 NoSQL 数据库的外部数据包装器。

  • 数据仓库:能平滑迁移至同属 PostgreSQL 生态的 GreenPlum,DeepGreen等,使用 FDW(Foreign data wrappers) 进行 ETL(Extract-Transform-Load)。

  • 函数:通过函数,可以在数据库服务器端执行指令程序。

  • 索引:用户可以自定义索引方法,或使用内置的 B 树,哈希表与 GiST(Generalized Search Tree) 索引。

  • 触发器:触发器是由SQL语句查询所触发的事件。如:一个INSERT语句可能触发一个检查数据完整性的触发器。触发器通常由INSERT或UPDATE语句触发。

  • 规则:规则(RULE)允许一个查询能被重写,通常用来实现对视图(VIEW)的操作,如插入(INSERT)、更新(UPDATE)、删除(DELETE)。

  • 继承:PostgreSQL实现了表继承,一个表可以从0个或者多个其他表继承,而对一个表的查询则可以引用一个表的所有行或者该表的所有行加上它所有的后代表。

Postgresql 对比 mysql和oracle

Postgresql VS Oracle

Oracle数据库是目前功能最强大的商业数据库,PostgreSQL则是功能最强大的开源数据库。

PostgreSQL与Oracle的不同之处在于,PostgreSQL有更多支持互联网特征的功能。如PostgreSQL数据类型支持网络地址类型、XML类型、JSON类型、UUID类型以及数组类型,且有强大的正则表达式函数,如where条件中可以使用正则表达式匹配,也可以使用Python、Perl等语言写存储过程等。

PostgreSQL更小巧。PostgreSQL可以在内存很小的机器上完美运行起来,如在512MB的云主机中,而Oracle数据库基本要在数GB的云主机中才可以运行起来。Oracle安装包动辄几个GB以上级别,而PostgreSQL的安装包只有几十MB大小。

PostgreSQL在任何一个环境都可以轻松地安装。Oracle数据库安装花费的时间是在小时级别,而PostgreSQL在分钟级别就可以完成安装。

Postgresql VS Mysql

Postgresql和Mysql都是开源数据库。

功能强大:支持所有主流的多表连接查询的方式,如“Hash JOIN”“Sort Merge JOIN”等;字段类型还支持数组类型,甚至有一些业务功能都不再需要写代码来实现了,直接使用数据库的功能即可解决问题。

性能优化工具与度量信息丰富:PostgreSQL数据库中有大量的性能视图,可以方便地定位问题(比如可以看到正在执行的SQL,可以通过锁视图看到谁在等待,以及哪条记录被锁定等)。PostgreSQL中设计了专门架构和进程用于收集性能数据,既有物理I/O方面的统计,也有表扫描及索引扫描方面的性能数据。

在线操作功能好:PostgreSQL增加空值列时,本质上只是在系统表上把列定义上,无须对物理结构做更新,这就让PostgreSQL在加列时可以做到瞬间完成。PostgreSQL还支持在线建索引的功能,在创建索引的过程可以不锁更新操作。

从PostgreSQL9.1开始,支持同步复制(synchronous replication)功能,通过Master和Slave之间的复制可以实现零数据丢失的高可用方案。
可以方便地写插件来扩展PostgreSQL数据库的功能:支持移动互联网的新功能,如空间索引。如果应用的数据访问很简单,那么后端使用MySQL也是很合适的。但是如果应用复杂,而且不想消耗太多的开发资源,那么PostgreSQL是一个很明智的选择。

不适用 PostgreSQ 的场景

1.在不安装任何扩展包的情况下,PG需要占用100MB以上的磁盘空间,可以看出它的个头是比较大的,因此在一些存储空间极为有限的小型设备上使用PG是不合适的。因此在一些存储空间极为有限的小型设备上使用PG是不合适的,把PG当成简单的缓存区来用也是不合适的,此时应选用一些更轻量级的数据库。

2.因为作为一款企业级数据库产品,PG对其安全也是极其重视的,因此,如果你在开发一个把安全管理放到应用层去做的轻量级应用,那么PG完善的安全机制反倒会成为负担,因为它的角色和权限管理非常复杂,会带来不必要的管理复杂度和性能损耗。

鉴于上面的种种,PG数据库一般是会和别的数据库搭配使用,使他们各展所长。一种常见的组合是把Redis当成PG的查询缓存来用,另一种的组合是用PG做主数据库。

更多关于大数据 PostgreSQL 系列的学习文章,请参阅:PostgreSQL 数据库,本系列持续更新中。

PostgreSQ 数据库对象

database

每个PG服务可以包含多个独立的database。

schema

如果把databases比作一个国家,那么schema就是一些独立的省。大多数对象是隶属于某个schema的,然后schema又隶属于某个databases。在创建一个新的database时,PG会自动为其创建一个名为public的schema。如果未设置searc_path变量,那么PG会将你创建的所有对象默认放入public schema中。如果表的数量较少,这是没问题的,但是如果你有几千张表,那么我们还是建议你将他们分门别类放入不同的schema中。

任何一个数据库中,表都是最核心的对象类型。在PG中,表首先属于某个schema,而schema有属于某个database,这样就构成一种三级存储结构。PG的表支持两种很强大的功能。第一种是继承,即一张表可以有父表和子表,这种层次化的结构可以极大的简化数据库设计,还可以为你省掉大量的重复查询代码。第二种是创建一张表的同时,系统会自动为此表创建一种对应的自定义数据类型。

PostgreSQL 整体架构

PostgreSQL 作为一个单机的关系型数据库,与单机Oracle的架构是比较相似的,与MySQL的InnoDB引擎也比较像。据我目前的了解,单机数据库的整体架构都差不太多,都是包含一个主的进程,一些辅助进程,以及一个大的共享内存池。下面我们具体学习一下PG架构里面的这些部分。

进程架构

PostgreSQL是一个多进程架构的客户端/服务器模式的关系型数据库管理系统。PG数据库中的一系列进程组合进来就是PostgreSQL服务端。这些进程可以细分为以下几大类:

  • postgres server进程 -是PG数据库中所有进程的父进程。

  • backend进程 - 每个客户端对于一个backend进程,处于这个客户端中的所有请求。

  • background进程 - 包含多个后台进程,比如做脏块刷盘的BACKGROUND WRITER进程,做垃圾清理的AUTOVACUUM进程,做检查点的CHECKPOINTER进程等。

  • replication相关进程 - 处理流复制的进程。

  • background workder进程 - PG9.3版本增加,执行由用户自定义开发的逻辑。

29fe46a5dd951be166d32a470d926e8c.png从上图可以看出,PG数据库中有一个主的postgres server进程,针对每个客户端有一个backend postgres进程,另外有一系列的background后台进程(针对不同的功能模块)。所以这些进程都对应一个共享内存shared memory。

下面我们再具体学习一下每类进程的主要工作内容。

Postgres Server Process

postgres server process是所有PG进程的父进程,在以前的版本中称为postmaster。当使用pg_ctl start启动数据库时,这个进程就被启动了, 然后它会启动一个共享内存shared memory,启动多个background后台进程,启动复制相关进程,如有需要也启动background worker progress,然后等待客户端的连接。

当接收到一个客户端连接时,它就会启动一个backend progress,专门服务于这个客户端。

postgres server process通常有一个对应的监听端口,默认是5432。如果一台机器上安装多个postgres实例有多个postgres server process,那么就需要修改对应的端口地址比如5433、5434等。

Backend Process

backend process也称为postgres进程,是由上面的postgres server process启动的用于服务于对应的客户端,通过TCP协议和客户端进行通信。
由于这个进程只能服务于一个特定的database,所以需要在连接PG数据库的时候指定一个默认连接的database。

PG允许多个客户端同时连接数据库,由max_connections参数控制最大并发连接数,默认是100。

如果有很多客户端频繁的对数据库进行短连接与释放连接,那么可能会造成连接耗时比较长,因为PG目前没有连接池的功能。针对于这种场景,一般通过像pgbouncer或pgpool-II这种插件来优化。

Background Process

background process后台进程有多个,每个进程负责一个模块或是一类任务,下面表格总结每个进程的描述。aade2330a4395b845ebb57f0ab3e8c4a.png以下是一个环境中查看到的PG相关进程列表,

  1. postgres> pstree -p 9687
  2. -+= 00001 root /sbin/launchd
  3.  -+- 09687 postgres /usr/local/pgsql/bin/postgres -D /usr/local/pgsql/data
  4.    |--= 09688 postgres postgres: logger process     
  5.    |--= 09690 postgres postgres: checkpointer process     
  6.    |--= 09691 postgres postgres: writer process     
  7.    |--= 09692 postgres postgres: wal writer process     
  8.    |--= 09693 postgres postgres: autovacuum launcher process     
  9.    |--= 09694 postgres postgres: archiver process     
  10.    |--= 09695 postgres postgres: stats collector process     
  11.    |--= 09697 postgres postgres: postgres sampledb 192.168.1.100(54924) idle  
  12.    --= 09717 postgres postgres: postgres sampledb 192.168.1.100(54964) idle in transaction
内存架构

了解完进程架构后,我们再来了解一下内存架构,PG中的内存主要分为两类:

  • 本地内存区 - 用于每个backend process内部使用,每个客户端连接对应一个本地内存区。

  • 共享内存区 - 所有PG进程共享使用。

本地内存区

本地内存区有多个,每个对应一个backend progres进程,用于处于这个连接内部的一些工作,包括:d01088350b9868f4c9643e43e4e9cc95.png

共享内存区

共享内存区在数据库启动时创建,也可以划分为多个子区域,包括:e65dd8dc4740f8c2599d2d04e19b2c5d.png除此之外,共享内存区还包括一些其他的子区域:

  • 用于多种访问控制的内存区域。

  • 用于多种后台进程如checkpointer、vacuum的内存区域。

  • 用于事务处理的区域如savepoint、二阶段提交。

以及其他子区域。更多关于大数据 PostgreSQL 系列的学习文章,请参阅:PostgreSQL 数据库,本系列持续更新中。

PostgreSQL 安装部署

Windows 系统

下载地址:https://www.enterprisedb.com/downloads/postgres-postgresql-downloads2440f479631c72aba95d14cd5b2fe118.png下载后安装包如下:c8accef2ac2e28843cfd0c5e85e0b281.png

安装PostgreSQL

双击打开安装包,点击Next。235042686b1207cdf72189c1dc945bee.png选择安装路径,点击Next。df2654025d9b704d3597015cd7247bf8.png点击Next5fac4c99cbec215b76f098ac284beae6.png设置数据存放目录,点击Next。cb6a8572e570e006056cb43282a50382.png设置数据库密码,用户名默认postgres,点击Next。4dce31ceb7df3ec6c8f413caae6b81d8.png设置数据库端口,默认5432,点击Next。8d194ed37ac70728a7ed9a9345e02726.png点击Next12d49e33af01680d01cd5955ee33462d.png点击Next55ee08c004573cf582615e93235bec1e.png点击Next709e133267c5e5356387fa39e6bcb7c4.png等待安装0db4f3459540154911a4298cceec848e.png点击Finish16ec7c5c83dd59d12ad9a9d4cf3cc69c.png

安装StackBuilder

选择PostgreSQL,点击下一个6e0788763d843f9be8cbd6608aae8556.png选择语言包,点击下一个。4f056b3c7332132aba7775c5ec6022cd.png点击下一个27837a6143db9d87815a4738301f7e3c.png弹出正在下载窗口。(如果下载超时,会返回到上一步,继续点下一个,下载成功为止)8f4d312272e7453ae628a976c5ffe9de.png点击下一个7cc7dac6179182886f8282cd72e9b764.png选择语言,点击OK6fc946717dc146efe721ac9f97347b12.png点击Next06e2837f9d9c788bb6f5818c2a20b598.png点击Next1aea415809a42830a6003f46e7ea6774.png点击Next9727e79a0ea5660bfc11f007dd2bc366.png等待安装9b25af10a0f3779c846dcb9b4a1ef022.png点击Finishade5d75694bd0dada1e777e5d2c8b5c8.png点击完成c1fc354dea8e403877750813a13377bb.png

打开PostgreSQL管理工具pgAdmin

win + s 快捷键,查询pgAdminaa1ddc8dbc777247992aea6d92cf6702.png可以看到PostgreSQL的欢迎界面e23be4e65e2628e44ead790485f08f5e.png输入管理密码,如果之前没有可以点击下方 Reset Master Password 进行重设。ba9fc0caa28a1d50d3a6a7d8676e96c2.png点击Servers,输入安装PostgreSQL时设置的密码,连接数据库。068093cd81d5be6fb2a84e2c06ef3d31.png点击Dashboard,选择数据库,可以看到数据库的实时状态。89a20d5a95827b8ec99f1538d8698051.png

打开命令行

win + s 快捷键,查询psql。**cf511a6b7575b8130b51ff32bf75b0bd.png一直回车,直到提示输入密码。aac57f083d9632d2614b7ecd8fd0e0b5.png输入密码,回车。a740ea421e9efdfbf281737b4c581697.png连接成功,进入数据库命令行。46c6676fde48fbb8aaed8073872e55c1.png

CentOS 7 系统

选定版本

eb1b4ccc569bbede64e2180f8cb03b2e.png
安装依赖
  1. # 获取所需依赖包
  2. wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/l/libzstd-1.5.2-1.el7.x86_64.rpm
  3. wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/l/llvm5.0-devel-5.0.1-7.el7.x86_64.rpm
  4. wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/l/llvm5.0-5.0.1-7.el7.x86_64.rpm
  5. wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/l/llvm5.0-libs-5.0.1-7.el7.x86_64.rpm
  6.  
  7. yum install -y ./libzstd-1.5.2-1.el7.x86_64.rpm 
  8. yum install -y centos-release-scl-rh llvm5*
  9. yum install -y epel-release
执行安装
  1. # 安装版本库的RPM
  2. sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
  3. # 安装 PostgreSQL
  4. sudo yum install -y postgresql15-server postgresql15-devel
6288e20c7bbc0f282df27f50b79c5fca.png
初始化
  1. # 初始化DB
  2. sudo /usr/pgsql-15/bin/postgresql-15-setup initdb
  3. # 开机启动|启动|重启|状态|停止 命令
  4. sudo systemctl enable postgresql-15
  5. sudo systemctl start postgresql-15
  6. sudo systemctl restart postgresql-15
  7. sudo systemctl status postgresql-15
  8. sudo systemctl stop postgresql-15
f4cd6b987a4a19b7413a67a926ebd47d.png
配置环境变量
  1. #编辑
  2. vim /etc/profile
  3. #PGSQL_HOME
  4. export PGSQL_HOME=/usr/pgsql-15
  5. export PATH=$PATH:$PGSQL_HOME/bin
  6. #生效配置
  7. source /etc/profile
538e1c32a451ff91a0fdfef3f7a6f6c4.png
基础配置
  1. 进入命令行
  2. #切换用户
  3. su postgres
  4. psql
  5. #创建DB
  6. create database test_db -U postgres ;
  7. # 设置密码(自由发挥):postgres
  8. alter user postgres with password 'postgres';
8f262d2175e6619ecf8fb6f79b2b0a7c.png
配置远程
  1. #编辑
  2. vim /var/lib/pgsql/15/data/postgresql.conf
  3. 修改参数:
  4. listen_addresses = '*'
  5. # 编辑配置
  6. vim /var/lib/pgsql/15/data/pg_hba.conf
  7. # 添加内容
  8. host    all      all    0.0.0.0/0      md5
  9. #重启
  10. sudo systemctl restart postgresql-15
测试链接
  • 远程链接命令

  1. #格式
  2. psql -h 主机IP -p 端口  -U 用户名 -W -d 数据库
  3. #示例
  4. psql -h 127.0.0.1 -p 5432  -U postgres -d test_db;

db3762570f840bed7601940814c9c312.png4fdfcf6a0c7319fb7f4432779f40bc96.png

pgAdmin4 工具安装

下载软件包(windows)
141fa647c9303dad0bec50e2c501d86b.png
运行安装

2c447e94dd4f529fc642532f23272dd6.png23c0b121fe86a5e542d2b0f9313065ab.png7d4f696f2816c86d24050e4b4916a49d.pngb73e51acdd883305d8f2a4fc89798083.png8c7b9954196f53d03ac8713dd4512655.png5cbb95c14ff7ef75e33f3bbfb9e45c43.png

操作使用
更改系统语言

系统默认是英文界面,要改成中文,可在菜单File->Preferences,找到User language选项。7688eef3924ac0fd909ac7b80f6a10fe.png

测试远程链接
  • 设置主凭据5ba1f0c6a5b9d29c8d47be0d19f8947c.png

  • 设置基础参数ccdac05cb3735f8335a27bb936a29fae.png

  • 设置链接参数78dbb240702394bcaac3e0e692816d16.png

  • 链接效果422ac48fde63625dd987349c4c370c8d.png

更多关于大数据 PostgreSQL 系列的学习文章,请参阅:PostgreSQL 数据库,本系列持续更新中。

参考文章:

https://blog.csdn.net/shy871/article/details/125234837 https://blog.csdn.net/weixin_44187730/article/details

/129958012 https://blog.csdn.net/Post_Yuan/article/

details/129833455 https://blog.csdn.net/qq_33204709

/article/details/128714391

读者专属技术群

构建高质量的技术交流社群,欢迎从事后端开发、运维技术进群(备注岗位),相互帮助,一起进步!请文明发言,主要以技术交流、内推、行业探讨为主

广告人士勿入,切勿轻信私聊,防止被骗

5b642c564a3b413d7accfe734783f9e1.jpeg

推荐阅读 点击标题可跳转

实名举报知乎!!!网络绝非法外之地。。。

不愧是微信!问的贼细(面经总结分享)

红帽“背叛”开源!限制访问,免费的 RHEL 没了

卸载 Navicat!事实证明,它更牛逼。。。

聊聊银行的信息科技岗(含各大银行薪资)

e45f34658732788f36df983c68f1b56f.png

PS:因为公众号平台更改了推送规则,如果不想错过内容,记得读完点一下在看,加个星标,这样每次新文章推送才会第一时间出现在你的订阅列表里。点在看支持我们吧!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/406086
推荐阅读
相关标签
  

闽ICP备14008679号