赞
踩
postgresql是一个非常成熟的开源的功能强大的关系型数据库,总体来说,该数据库安装简单,使用复杂,复杂度在多个维度都会有所体现,比如,SQL语法的复杂(语法和MySQL,oracle等基本是一致的,这就比较友好了,虽然什么左联查,右联查,函数,触发器,约束等等内容非常多),文件系统的复杂(配置文件,标识文件,数据库文件等等),维护的复杂(备份和恢复工具比较多,需要根据自己的需求来仔细甄别,挑选,使用),优化的复杂(通常,数据库能跑起来是一件事,能高效率的,稳定的运行是另一回事)
OK,那么,postgresql数据库内的文件系统到底是一个什么系统?数据库是如何运行的?wal日志文件存放在哪里?wal日志文件有什么用?postgresql的主配置文件到底能干什么?标识文件如何使用?数据库文件是存放在哪里的?这些文件存在的意义是什么?
- [postgres@k8s-node2 pgsql]$ ll
- total 1240
- -rw-r--r-- 1 postgres postgres 522 Nov 10 2020 aclocal.m4
- drwx------ 2 postgres postgres 4096 Mar 9 00:54 bin
- drwxrwxrwx 2 postgres postgres 4096 Nov 10 2020 config
- -rw------- 1 postgres postgres 434222 Mar 9 00:42 config.log
- -rwx------ 1 postgres postgres 40061 Mar 9 00:42 config.status
- -rwxr-xr-x 1 postgres postgres 575329 Nov 10 2020 configure
- -rw-r--r-- 1 postgres postgres 84108 Nov 10 2020 configure.in
- drwxrwxrwx 56 postgres postgres 4096 Nov 10 2020 contrib
- -rw-r--r-- 1 postgres postgres 1192 Nov 10 2020 COPYRIGHT
- drwx------ 19 postgres postgres 4096 Mar 25 18:17 data
- drwxrwxrwx 3 postgres postgres 87 Nov 10 2020 doc
- -rw------- 1 postgres postgres 3998 Mar 9 00:42 GNUmakefile
- -rw-r--r-- 1 postgres postgres 3998 Nov 10 2020 GNUmakefile.in
- -rw-r--r-- 1 postgres postgres 284 Nov 10 2020 HISTORY
- drwx------ 6 postgres postgres 4096 Mar 9 00:54 include
- -rw-r--r-- 1 postgres postgres 61479 Nov 10 2020 INSTALL
- drwx------ 4 postgres postgres 4096 Mar 9 00:54 lib
- -rw-r--r-- 1 postgres postgres 1665 Nov 10 2020 Makefile
- -rw-r--r-- 1 postgres postgres 1212 Nov 10 2020 README
- drwx------ 6 postgres postgres 4096 Mar 9 00:54 share
- drwxrwxrwx 16 postgres postgres 4096 Mar 9 00:42 src
OK,以上是二进制编译安装的一个postgresql数据库,该数据库已经初始化完成了。
猛一看,文件并不多,大概也就1w多个文件(夹)而已,深入研究的话,可能会大吃一惊的。
此文件夹是插件目录,里面有很多插件,比如passwordcheck 密码检查工具(安全增强插件),不过基本都是需要编译的,由开源组织提供的小工具集,也可以认为是一个扩展功能集合,可以这么理解的哦
- [root@EULER1 contrib]# ls
- adminpack bloom contrib-global.mk dict_xsyn hstore intarray lo oid2name pgcrypto pg_standby pg_visibility sepgsql tablefunc tsm_system_time xml2
- amcheck btree_gin cube earthdistance hstore_plperl isn ltree pageinspect pg_freespacemap pg_stat_statements postgres_fdw spi tcn unaccent
- auth_delay btree_gist dblink file_fdw hstore_plpython jsonb_plperl ltree_plpython passwordcheck pg_prewarm pgstattuple README sslinfo test_decoding uuid-ossp
- auto_explain citext dict_int fuzzystrmatch intagg jsonb_plpython Makefile pg_buffercache pgrowlocks pg_trgm seg start-scripts tsm_system_rows vacuumlo
数据库运行时的类库,也可以认为是开发库
- [root@EULER1 lib]# ls
- ascii_and_mic.so euc_jp_and_sjis.so libecpg.a libecpg.so libpgfeutils.a libpgtypes.so.3 libpq.so.5.12 pkgconfig utf8_and_euc2004.so utf8_and_gb18030.so utf8_and_sjis2004.so
- cyrillic_and_mic.so euc_kr_and_mic.so libecpg_compat.a libecpg.so.6 libpgport.a libpgtypes.so.3.12 libpqwalreceiver.so plpgsql.so utf8_and_euc_cn.so utf8_and_gbk.so utf8_and_sjis.so
- dict_snowball.so euc_tw_and_big5.so libecpg_compat.so libecpg.so.6.12 libpgport_shlib.a libpq.a passwordcheck.so utf8_and_ascii.so utf8_and_euc_jp.so utf8_and_iso8859_1.so utf8_and_uhc.so
- euc2004_sjis2004.so latin2_and_win1250.so libecpg_compat.so.3 libpgcommon.a libpgtypes.a libpq.so pgoutput.so utf8_and_big5.so utf8_and_euc_kr.so utf8_and_iso8859.so utf8_and_win.so
- euc_cn_and_mic.so latin_and_mic.so libecpg_compat.so.3.12 libpgcommon_shlib.a libpgtypes.so libpq.so.5 pgxs utf8_and_cyrillic.so utf8_and_euc_tw.so utf8_and_johab.so
直译是共享文件夹,该文件夹内存放的是初始化数据库的文件,里面包括一些初始化时执行的SQL语句,PostgreSQL的文档、 man、 示例文件以及一些扩展,此文件夹在初始化时非常重要
- [root@EULER1 share]# ll
- total 1108
- -rw-r--r--. 1 pg1 pg1 33114 Mar 9 00:54 errcodes.txt
- drwx------. 2 pg1 pg1 4096 Mar 25 19:22 extension
- -rw-r--r--. 1 pg1 pg1 112339 Mar 9 00:54 information_schema.sql
- -rw-r--r--. 1 pg1 pg1 4674 Mar 9 00:54 pg_hba.conf.sample
- -rw-r--r--. 1 pg1 pg1 1636 Mar 9 00:54 pg_ident.conf.sample
- -rw-r--r--. 1 pg1 pg1 604 Mar 9 00:54 pg_service.conf.sample
- -rw-r--r--. 1 pg1 pg1 649166 Mar 9 00:54 postgres.bki
- -rw-r--r--. 1 pg1 pg1 134668 Mar 9 00:54 postgres.description
- -rw-r--r--. 1 pg1 pg1 26578 Mar 9 00:54 postgresql.conf.sample
- -rw-r--r--. 1 pg1 pg1 49 Mar 9 00:54 postgres.shdescription
- -rw-r--r--. 1 pg1 pg1 278 Mar 9 00:54 psqlrc.sample
- -rw-r--r--. 1 pg1 pg1 33590 Mar 9 00:54 snowball_create.sql
- -rw-r--r--. 1 pg1 pg1 35441 Mar 9 00:54 sql_features.txt
- -rw-r--r--. 1 pg1 pg1 50232 Mar 9 00:54 system_views.sql
- drwx------. 18 pg1 pg1 4096 Mar 9 00:54 timezone
- drwx------. 2 pg1 pg1 4096 Mar 9 00:54 timezonesets
- drwx------. 2 pg1 pg1 4096 Mar 9 00:54 tsearch_data
比较有价值的文件是 :
此目录通常我们也可以称之为数据文件目录。由于Linux的设计理念是万物皆为文件,因此,逻辑上的所有概念都可以物化为文件
此目录只有初始化数据库后才会生成出现,该目录下存放的是几个主要配置文件和数据库的物理文件
- [pg1@EULER1 data]$ ll
- total 140
- -rw------- 1 pg1 pg1 224 Mar 20 02:31 backup_label.old
- drwx------ 5 pg1 pg1 4096 Mar 19 20:16 base
- -rw------- 1 pg1 pg1 44 Mar 25 18:07 current_logfiles
- drwx------ 2 pg1 pg1 4096 Mar 25 19:28 global
- drwx------ 2 pg1 pg1 4096 Mar 25 18:07 log
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 pg_commit_ts
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 pg_dynshmem
- -rw------- 1 pg1 pg1 4902 Mar 18 07:11 pg_hba.conf
- -rw------- 1 pg1 pg1 1636 Mar 18 07:05 pg_ident.conf
- drwx------ 4 pg1 pg1 4096 Mar 25 19:32 pg_logical
- drwx------ 4 pg1 pg1 4096 Mar 18 07:05 pg_multixact
- drwx------ 2 pg1 pg1 4096 Mar 25 18:07 pg_notify
- drwx------ 2 pg1 pg1 4096 Mar 20 02:31 pg_replslot
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 pg_serial
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 pg_snapshots
- drwx------ 2 pg1 pg1 4096 Mar 20 03:00 pg_stat
- drwx------ 2 pg1 pg1 4096 Mar 25 20:15 pg_stat_tmp
- drwx------ 2 pg1 pg1 4096 Mar 20 02:40 pg_subtrans
- drwx------ 2 pg1 pg1 4096 Mar 20 02:40 pg_tblspc
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 pg_twophase
- -rw------- 1 pg1 pg1 3 Mar 18 07:05 PG_VERSION
- drwx------ 3 pg1 pg1 4096 Mar 20 02:40 pg_wal
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 pg_xact
- -rw------- 1 pg1 pg1 110 Mar 19 02:52 postgresql.auto.conf
- -rw------- 1 pg1 pg1 26695 Mar 20 03:00 postgresql.conf
- -rw------- 1 pg1 pg1 59 Mar 25 18:07 postmaster.opts
- -rw------- 1 pg1 pg1 80 Mar 25 18:07 postmaster.pid
- -rw------- 1 pg1 pg1 30 Mar 20 02:31 tablespace_map.old
此目录是基本表空间和在其表空间下的数据库文件
一级目录名是用户数据库对象的OID(例如,下面的13590),一级目录内的二级子文件都是隶属于该数据库对象的关系,包括表、索引、视图等。
二级子文件分为三大类,第一类是以关系OID命名的主数据文件,第二类是文件名以_fsm结尾的空闲空间映射文件,第三类是文件名以_vm结尾的可见性映射文件。
一般情况下,postgresql数据库只需要两个基础表空间,如果data目录所在分区磁盘空间不足的时候,我们可能会自定义表空间在其它分区,从而扩展数据库。
- postgres-# \db+
- List of tablespaces
- Name | Owner | Location | Access privileges | Options | Size | Description
- ------------+----------+-------------------------+-------------------+---------+---------+-------------
- mytbs | postgres | /opt/custome-tablespace | | | 7833 kB |
- pg_default | pg1 | | | | 23 MB |
- pg_global | pg1 | | | | 623 kB |
例如,上面的表空间详情表示,pg_default 这个表空间对应的就是base这个目录了,那么,如何证明呢?
- postgres-# \db+ pg_default
- List of tablespaces
- Name | Owner | Location | Access privileges | Options | Size | Description
- ------------+-------+----------+-------------------+---------+-------+-------------
- pg_default | pg1 | | | | 23 MB |
- (1 row)
-
- [root@EULER1 base]# du -sh ./
- 24M ./
-
OK,看看base目录下有一些什么:
- [root@EULER1 base]# pwd
- /usr/local/pgsql/data/base
- [root@EULER1 base]# ll
- total 20
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 1
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 13590
- drwx------ 2 pg1 pg1 12288 Mar 25 19:28 13591
OK,13590和13591是什么呢?
这些数字叫oid,如何查询它们对应的是哪个数据库呢?
- postgres=# select oid, datname from pg_database;
- oid | datname
- -------+-----------
- 13591 | postgres
- 1 | template1
- 13590 | template0
- 32775 | test
- (4 rows)
查询某个表在哪个具体的目录下(例如,查询ssss这个表在哪个目录下):
- postgres=# select pg_relation_filepath('ssss');
- pg_relation_filepath
- ----------------------
- base/13591/40976
- (1 row)
如果是空表,那么40976这个文件的状态是empty,如果此表有数据,那么将是data(一开始是空的,后面我添加了数据,添加数据没有演示):
- [root@EULER1 13591]# pwd
- /usr/local/pgsql/data/base/13591
- [root@EULER1 13591]# file 40976
- 40976: empty
- [root@EULER1 13591]# file 40976
- 40976: data
数据库和表空间的对应关系查询:
- postgres=# \l+
- List of databases
- Name | Owner | Encoding | Collate | Ctype | Access privileges | Size | Tablespace | Description
- -----------+----------+----------+-------------+-------------+-------------------+---------+------------+--------------------------------------------
- postgres | pg1 | UTF8 | en_US.UTF-8 | en_US.UTF-8 | | 7993 kB | pg_default | default administrative connection database
- template0 | pg1 | UTF8 | en_US.UTF-8 | en_US.UTF-8 | =c/pg1 +| 7809 kB | pg_default | unmodifiable empty database
- | | | | | pg1=CTc/pg1 | | |
- template1 | pg1 | UTF8 | en_US.UTF-8 | en_US.UTF-8 | =c/pg1 +| 7809 kB | pg_default | default template for new databases
- | | | | | pg1=CTc/pg1 | | |
- test | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | | 7961 kB | mytbs |
- (4 rows)
OK,13591和 1 这两个数据库是模板数据库,比较特殊的数据库,上面有介绍,新建数据库是使用的template1这个模板,完全的空,且不可修改的数据库是template0模板(因为不可连接),可以这样使用模板数据库建立新数据库:
- root@EULER1 data]# createdb -T template1 -U postgres test2
- [root@EULER1 data]# createdb -T template0 -U postgres test3
template1和template0的联系和区别:
PostgreSQL默认初始化数据库后,模板数据库template0和template1包含的内容是一致的。在PG中创建数据库时,默认是从template1模板数据库中克隆出来的,创建出来的数据库是继承template1的,而template0不会继承,因为template是不可连接的。
简单来说,template1是会被污染的,比如,连接到template1数据库,然后在里面建立了一张名字为test的表,并插入一些垃圾数据,那么,在创建新的数据库的时候,新数据库里也将会有同样的test表,表内有同样的垃圾数据
postgres=# \c template1 You are now connected to database "template1" as user "postgres". template1=# \c template0 FATAL: database "template0" is not currently accepting connections Previous connection kept使用 template1 模板库建库时不可指定新的 encoding 和 locale,而 template0 可以。这里的“新的”指的是非UTF8
PostgreSQL为了满足能够给用户一个干净(也就是最原始)的数据库需求,当需要的时候,可以指定从template0模板数据库中去新建数据库。
在$PGDATA/base/{dboid}
中通常会包含三种文件(也就是前面说的二级子目录):例如16385
、16385_fsm
、16385_vm
,分别是该数据库对应表的数据或索引文件、其对应的空闲空间映射文件、其对应的可见性映射文件。
B,global文件夹
global目录存储pg_control及数据库集群维度的数据库及其关系,非客户维度的数据,例如pg_database、pg_class等。目录内的文件结构和base是一致的。
此文件夹里的内容是全局数据,其中有一个非常重要的文件pg_control,该文件的格式是data
该文件的内容主要分为是三部分,初始化静态信息、WAL及检查点的动态信息、一些配置信息(不能通过文本方式查看,需要pg_controldata这个工具查看该文件内容)
- [root@EULER1 global]# pwd
- /usr/local/pgsql/data/global
- [root@EULER1 global]# file pg_control
- pg_control: data
读取此文件由pg_controldata这个程序实现,此命令基本没有参数,直接运行即可:
- [root@EULER1 global]# pg_controldata
- pg_control version number: 1201
- Catalog version number: 201909212
- Database system identifier: 7211655189372047015
- Database cluster state: in production
- pg_control last modified: Sat 25 Mar 2023 11:01:51 PM CST
- Latest checkpoint location: 0/C08CD68
- Latest checkpoint's REDO location: 0/C08CD30
- Latest checkpoint's REDO WAL file: 00000004000000000000000C
- Latest checkpoint's TimeLineID: 4
- Latest checkpoint's PrevTimeLineID: 4
- Latest checkpoint's full_page_writes: on
- Latest checkpoint's NextXID: 0:663
- Latest checkpoint's NextOID: 57347
- Latest checkpoint's NextMultiXactId: 1
- Latest checkpoint's NextMultiOffset: 0
- Latest checkpoint's oldestXID: 479
- Latest checkpoint's oldestXID's DB: 1
- Latest checkpoint's oldestActiveXID: 663
- Latest checkpoint's oldestMultiXid: 1
- Latest checkpoint's oldestMulti's DB: 1
- Latest checkpoint's oldestCommitTsXid:0
- Latest checkpoint's newestCommitTsXid:0
- Time of latest checkpoint: Sat 25 Mar 2023 11:01:50 PM CST
- Fake LSN counter for unlogged rels: 0/3E8
- Minimum recovery ending location: 0/0
- Min recovery ending loc's timeline: 0
- Backup start location: 0/0
- Backup end location: 0/0
- End-of-backup record required: no
- wal_level setting: replica
- wal_log_hints setting: off
- max_connections setting: 1000
- max_worker_processes setting: 8
- max_wal_senders setting: 10
- max_prepared_xacts setting: 0
- max_locks_per_xact setting: 64
- track_commit_timestamp setting: off
- Maximum data alignment: 8
- Database block size: 8192
- Blocks per segment of large relation: 131072
- WAL block size: 8192
- Bytes per WAL segment: 16777216
- Maximum length of identifiers: 64
- Maximum columns in an index: 32
- Maximum size of a TOAST chunk: 1996
- Size of a large-object chunk: 2048
- Date/time type storage: 64-bit integers
- Float4 argument passing: by value
- Float8 argument passing: by value
- Data page checksum version: 0
- Mock authentication nonce: be64e48d6831a39e8504bc367bfd40768edba136fbdcaa058b8c6acac954b81a
输出的内容非常多,但十分重要,比如:
- Catalog version number: 201909212 #版本发行时间
- Database cluster state: in production #数据库状态,此时是单实例或者主从里的主
- pg_control last modified: Sat 25 Mar 2023 11:01:51 PM CST#数据库启动时间,启动的时候会读取pg_control 文件,因此,是修改状态
- Latest checkpoint location: 0/C08CD68 #wal文件名称
- Time of latest checkpoint: Sat 25 Mar 2023 11:01:50 PM CST#数据库启动时间
- wal_level setting: replica #wal日志文件的等级,
- Latest checkpoint's REDO location: 0/C08CD30 #检查点现在正在使用的wal文件名称
- Latest checkpoint's REDO WAL file: 00000004000000000000000C #检查点wal日志文件名称,此文件是正在写入wal日志状态
C,
pg_xact是事务提交日志(Commit Log)的存储目录,事务提交日志默认256KB,文件名形如NNNN,系统初始化后从0000开始递增至FFFF。PG 10及之后的高版本改目录名为pg_xact,10之前目录名称是pg_clog。
- [root@EULER1 pg_xact]# pwd
- /usr/local/pgsql/data/pg_xact
- [root@EULER1 pg_xact]# file 0000
- 0000: International EBCDIC text, with NEL line terminators
- [root@EULER1 pg_xact]# ls -al
- total 16
- drwx------ 2 pg1 pg1 4096 Mar 18 07:05 .
- drwx------. 20 pg1 pg1 4096 Mar 26 00:00 ..
- -rw------- 1 pg1 pg1 8192 Mar 25 23:01 0000
D,
pg_wal文件夹
该文件夹内存放的是wal归档日志文件,一般情况下是不可以删除的,备份操作主要依赖此文件夹内的wal日志文件
- [root@EULER1 pg_wal]# ll
- total 32780
- -rw------- 1 pg1 pg1 74 Mar 20 02:40 00000003.history
- -rw------- 1 pg1 pg1 16777216 Mar 26 01:33 00000004000000000000000C
- -rw------- 1 pg1 pg1 16777216 Mar 20 02:40 00000004000000000000000D
- -rw------- 1 pg1 pg1 118 Mar 20 02:40 00000004.history
- drwx------ 2 pg1 pg1 4096 Mar 20 02:40 archive_status
以上基本都是重要的文件夹,下面介绍一下postgresql数据库里的重要文件:
该配置文件内容涉及的方面很多,主要是服务状态,日志设置,备份设置,恢复设置,主从设置,查询设置等等方方面面,绝大多数配置参数都被注释掉了,它们默认被内置到了数据库中,仅剩下几个参数没有被注释掉,被系统重写了(数据库版本不同,重写参数可能不同),如 pg 12.4 中被重写的了如下几个参数。测试环境使用可以采用默认参数,但在生产中使用就需要对默认参数进行一些优化配置了。
OK,具体的如何设置这些参数,如何优化内容就太多了,在此就不多做介绍了。
该文件是安全方面的配置文件,主要定义哪些用户以何种方式连接数据库,例如,
host all all 0.0.0.0/0 md5
表示任意客户端均可远程连接此数据库,只是远程连接的时候需要密码校验,也就是需要输入相关用户的密码,如果该用户设置了密码的话。
只是需要注意,此配置文件的更改生效有两种方式,第一是重启数据库服务,第二是利用postgresql的内置函数:
例如,pg_reload_conf这个pg的内置函数可以热更新配置
- test=# select pg_reload_conf();
- pg_reload_conf
- ----------------
- t
- (1 row)
该文件是存放数据库系统级别的配置,此文件非常的吊,级别是最高的,也就是说相同的配置在postgresql.conf和postgresql.auto.conf 两个文件里都写的有,那么,最终是auto这个配置文件里的配置项生效
例如:
配置数据库listen也就是监听范围
- [pg1@EULER1 ~]$ psql -d postgres -c "ALTER SYSTEM SET listen_addresses TO '*';"
- ALTER SYSTEM
- [root@EULER1 data]# cat postgresql.auto.conf
- # Do not edit this file manually!
- # It will be overwritten by the ALTER SYSTEM command.
- max_wal_size = '2500'
- listen_addresses = '*'
该文件在低版本出现,大概是pg10版本左右,是需要自己编写的,在pg12版本结合到postgresql.conf 文件内了。
该文件主要是用于数据库恢复阶段。
recovery.conf中的参数可以通过alter system 的方式进行配置了
由于是过期的文件,因此,本文不做过多介绍(12已经是主流版本了)
此文件是标识文件,表示服务器状态的无内容文件,通常是表示此时的数据库进入了紧急状态,一般是在主服务器恢复后出现此文件。
未完待续
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。