搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
小桥流水78
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
Rancher创建arm架构的下游k8s集群_arm版本rancher部署
2
网络攻防原理(更新中)_常见网络攻防方法原理与实践选题的意义
3
IntelliJ IDEA 2022.3.1 (Ultimate Edition) 配置教程_intellij idea ultimate
4
2021年九月上旬文章推荐_围绕hugetlb的极致优化
5
fpga开发过程中遇到的一些小问题_labtools 27-3312
6
MYSQL 查找单个字段或者多个字段重复数据,清除重复数据,保留一条_mysql查询重复数据保留一条
7
【MYSQL】—— MySQL 在 Centos 7环境安装_centos7 mysql
8
2024年最新超全Python图像处理讲解(多图预警)_return im1,2024年最新涨姿势了
9
51单片机学习笔记16 小型直流电机和五线四相电机控制_51单片机 步进电机
10
移植 u-boot-2020.07 到 iTOP-4412(四)重定位、UART_emmc4.4
当前位置:
article
> 正文
大数据解决之道 ——动态数据库方案V1.0
作者:小桥流水78 | 2024-06-25 03:55:28
赞
踩
数据库数据量过大动态生成表
这次博客主要是和大家分享数据库这块关于建立动态数据库的一些想法,我总结了一个文档,供大家交流,欢迎大家提意见啊!
起因:
上次考试系统的数据量太大,导致有部分学生数据没有写进入,经讨论研究,决定研究动态数据库,现将第一版方案公布,大家研究!
方案大纲:
将整体的数据库优化分为四个部分,第一部分为基础简化部分,第二部分为动态建库部分,第三部分为动态建表部分,第四部分为索引优化部分。
基础简化:
在一个系统中,构成这个系统的必要组成部分,他们变化机会小,数据量稳定,我们称为基础部分,将这部分抽象,做成基础数据库,将基础与变化分类封装,这样就保证了稳定性,和灵活性的合理平衡!
动态建库:
基础数据库建好,和基础数据库配套的是动态数据库,也叫从数据库,他是动态生成的,我们只对里面的结构做个规范,不要求他的存储量有多大,他的建立,是为了让数据更优化地存储,也是避免表的过多,造成逻辑混乱!
动态建表:
架构好动态数据库后,库里有些表也是动态生成的,这样是因为,数据量大,单表保存不利于系统优化,动态保存,将当前的表用完后作为历史表封存,这样在保证数据量不超标的基础上,增加灵活性与统一性!
索引优化:
在建立好数据库基本机构后,要优化索引表,对系统的需求充分分析,建立合适的索引表,确保数据检索的快速性和整体性统一。
方案具体实施办法:
数据分析:
认真分析系统需求,抽象出具体的表与字段,分析系统中可能出现问题的关键节点,将表分类:
大致分为以下几类:
(1),数据变动类
将表按照数据变动的快慢分类表,一般分为三种,快,中和慢
(2),数据量大小类
将表按照数据量的大小分为,大,中和小三种
数据分类:
将表分好类后,将表按照以上两种方案作图:
详细设计:
(1),索引设计:
数据分类做好后,要仔细研究数据之间的关系,建立充足且合适的衔接表(索引表),原则是尽量简单,让衔接表最好只涉及到两张表!
(2),关口设计:
关口设计,就是设计什么时候动态创建库,什么时候动态创建表,要保证时间上和空间上的统一,保证用户同时面对的表不能太繁琐!
(3),操作设计:
一般而言,我们设计完动态库后,必须有自动控制,手动控制,混合控制三个选项供用户选择,还要设计好,控制的时间,一般自动选在闲置时间!
(4),安全设计:
在设计完数据库后,必须考虑数据安全性的问题,其中包括数据的一致性,完整性,保密性,操作权限等,保证用户整体数据不分离,用户必要数据不丢失,用户数据逻辑性不混乱!
(5),文档设计
设计完数据库后,必须配备详细的文档说明,不必到每个字段,但是关键字段要充分说明,方便后来者理解!
(6),维护设计
设计数据库时,要考虑好后期维护的难易程度,给特定用户开放维护接口,并配有相应的帮助文档!
(7),帮助设计
书写详细的帮助说明,用户在拿到帮助文档后能够快速上手,维护整个系统!
总结:
遇到问题多思考,多交流,请教高手,这是咱们死不要脸的革命精神的一部分,大家要好好总结自己的错误,有时候,错误是我们成长的关键所在
本文内容由网友自发贡献,转载请注明出处:
https://www.wpsshop.cn/w/小桥流水78/article/detail/754883
推荐阅读
article
操作系统
(五)
存储管理
方案
_
分区
存储管理
...
存储管理
方案
_
分区
存储管理
分区
存储管理
考试内容: 存储...
赞
踩
article
Java
17
新
特性
简介_
java
17
新
特性
...
在
Java
17
中,我们可以更方便地定义存放数据的类,而不需要手动编写构造方法、getter、setter、hash...
赞
踩
article
MYSQL-
执行
计划
_
执行
计划
ref
...
执行
计划
的作用表的读取顺序数据读取操作的操作类型哪些索引可以使用哪些索引被实际使用表之间的引用每张表有多少行被优化器查询...
赞
踩
article
已
解决
java
.
sql
.
SQL
NonTransientConnectionException: SQ...
已
解决
java
.
sql
.
SQL
NonTransientConnectionException:
SQL
非瞬态
连接
异常的正...
赞
踩
article
操作系统
学习笔记(七):连续
内存
分配
——
内存
碎片
、动态
分配
_
windows
查看是否
内存
碎片
...
在没有其他方式辅助的情况下,我们
分配
给一个进程的
内存
是连续的。在
分配
时候我们需要有动态
分配
与
碎片
处理。如何理解呢?就是每...
赞
踩
article
explain
|
索引
优化
的
这把绝世好剑,你真
的
会用吗?_
mysql
<
derived2
>
使用
索...
对于互联网公司来说,随着用户量和数据量
的
不断增加,慢查询是无法避免
的
问题。一般情况下如果出现慢查询,意味着接口响应慢、接...
赞
踩
article
L2TP
连接
尝试
失败
,因为安全层在
初始化
与远程
计算机
的协商时遇到了一个
处理错误
_
l2tp
连接
尝试
失...
L2TP
连接
尝试
失败
,因为安全层在
初始化
与远程
计算机
的协商时遇到了一个
处理错误
错误描述:“
L2TP
连接
尝试
失败
,因为安全...
赞
踩
article
珍藏 | 近
200
篇
机器
学习
与
深度
学习
经典
论文
整理...
点击上方,选择星标或置顶,每天给你送干货!阅读大概需要22分钟跟随小博主,每天进步一丢丢转载自SIGAI这篇文章整理出了...
赞
踩
article
MySQL
Explain
详解...
在日常工作中,我们会有时会开慢查询去记录一些执行时间比较久的SQL语句,找出这些SQL语句并不意味着完事了,些时我们常常...
赞
踩
article
pg 出现视图依赖表,导致字段不能修改_
c
a
nnot
a
lter
type
of
a
column
...
昨天接到需求,要修改一个使用已久的的表的字段长度,现有字段长度不能满足需求。直接使用以下语句会出现报错:ERROR: c...
赞
踩
article
基于
STM32
倒车
雷达
系统(
OLED
显示)(
Proteus
仿真+程序+设计报告)_
stm32f103
...
25、基于
STM32
倒车
雷达
系统(
OLED
显示)_
stm32f103
控制
雷达
proteus
仿真
stm32f103
控制雷...
赞
踩
article
浅谈
学生宿舍
用电
管理系统
的
设计及应用...
近年来,为了改善和满足大学生
的
居住条件,宿舍内
的
配置由过去满足基本生活需求
的
设备,到现今设有热水淋浴、空调、电话、电视和...
赞
踩
article
STM32
简单小
项目
——模拟
超声波
雷达
倒车
_
chao
超声波
雷达
编程...
当模块接收到返回的
超声波
信号时,Echo引脚的电平再次变化,从1变为0,此时停止定时器计数;主函数:对各模块初始化,自定...
赞
踩
article
PostgreSQL
修改数据库表的列属性(
ALTER
语句)_
proc
sql
alter
...
转自:http://blog.chinaunix.net/uid-15145533-id-2775847.html我们可...
赞
踩
article
机器
学习
经典书籍...
入门书单 《数学之美》 PDF 作者吴军大家都很熟悉。以极为通俗的语言讲述了数学在
机器
学习
和自然语言处理等领域的应用。 ...
赞
踩
article
Datastage
中
Transformer
Stage
:各个
函数
的解析_
datastage
字符串
...
Transformer
Stage
:各个
函数
的意义:Date$Time
函数
名称 测试用列 描述 测试结果 Current...
赞
踩
article
用户
交易
数据分析
-
持仓
收益(
盈亏
)胜率等指标计算
_
主图
盈亏
持仓
源码...
数据模型
用户
id 股票代码 数量 交易方向 发生资金 a 0001 100 买 -1000 a 0001 200 买 ...
赞
踩
article
MySQL
高可用
解决方案
演进:从
主从复制
到
InnoDB
Cluster架构_
mysql
高可用
解决方案
...
MySQL
的高可用性
解决方案
从最初的
主从复制
到现代的
InnoDB
Cluster架构演进,为用户提供了更为强大和自动化的...
赞
踩
article
C#
paddlerocrsharp
识别
身份证
号
_
paddleocrsharp
识别
身份证
号
码...
C#
paddlerocrsharp
识别
身份证
号
_
paddleocrsharp
识别
身份证
号
码
paddleocrsharp
...
赞
踩
article
推荐开源
项目
:
Graph
Force
——2D
图
嵌入的力导向
布局
库...
推荐开源
项目
:
Graph
Force
——2D
图
嵌入的力导向
布局
库
项目
地址:https://gitcode.com/H4k...
赞
踩
相关标签
操作系统
java
开发语言
mysql
sql
https
网络协议
Exception
Error
数据库
单片机
stm32
嵌入式硬件
网络
运维
大数据
服务器