搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
小桥流水78
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
elasticsearch去重:collapse、cardinality、terms+top_hits实现总结_java elasticsearch collapse
2
星座高考成绩查询2021,2021年能金榜题名的星座,2021年学业运势旺盛的星座
3
(国内可用,24年6月更新)ChatGPT 3.5和4.0还有GPT-4o_chatgpt最新是4.0吗
4
Xilinx 7系列FPGA架构之SelectIO结构(一)
5
AIGC教程:Stable Diffusion精进,如何训练特定画风LoRA模型?_stable diffusion + lora 训练一个动漫风格模型
6
Elasticsearch 去重后求和_elaticsearch 去重sum
7
深度学习模型中的时间序列预测算法研究_时间序列深度学习模型
8
【ERROR】chaincode install failed with status: 500 - failed to invoke backing implementation xxx_error: chaincode install failed with status: 500 -
9
Celery介绍以及使用
10
【Git】Git下载安装&环境配置 下载速度慢的解决方案_git安装包下载慢
当前位置:
article
> 正文
大数据解决之道 ——动态数据库方案V1.0
作者:小桥流水78 | 2024-06-25 03:55:28
赞
踩
数据库数据量过大动态生成表
这次博客主要是和大家分享数据库这块关于建立动态数据库的一些想法,我总结了一个文档,供大家交流,欢迎大家提意见啊!
起因:
上次考试系统的数据量太大,导致有部分学生数据没有写进入,经讨论研究,决定研究动态数据库,现将第一版方案公布,大家研究!
方案大纲:
将整体的数据库优化分为四个部分,第一部分为基础简化部分,第二部分为动态建库部分,第三部分为动态建表部分,第四部分为索引优化部分。
基础简化:
在一个系统中,构成这个系统的必要组成部分,他们变化机会小,数据量稳定,我们称为基础部分,将这部分抽象,做成基础数据库,将基础与变化分类封装,这样就保证了稳定性,和灵活性的合理平衡!
动态建库:
基础数据库建好,和基础数据库配套的是动态数据库,也叫从数据库,他是动态生成的,我们只对里面的结构做个规范,不要求他的存储量有多大,他的建立,是为了让数据更优化地存储,也是避免表的过多,造成逻辑混乱!
动态建表:
架构好动态数据库后,库里有些表也是动态生成的,这样是因为,数据量大,单表保存不利于系统优化,动态保存,将当前的表用完后作为历史表封存,这样在保证数据量不超标的基础上,增加灵活性与统一性!
索引优化:
在建立好数据库基本机构后,要优化索引表,对系统的需求充分分析,建立合适的索引表,确保数据检索的快速性和整体性统一。
方案具体实施办法:
数据分析:
认真分析系统需求,抽象出具体的表与字段,分析系统中可能出现问题的关键节点,将表分类:
大致分为以下几类:
(1),数据变动类
将表按照数据变动的快慢分类表,一般分为三种,快,中和慢
(2),数据量大小类
将表按照数据量的大小分为,大,中和小三种
数据分类:
将表分好类后,将表按照以上两种方案作图:
详细设计:
(1),索引设计:
数据分类做好后,要仔细研究数据之间的关系,建立充足且合适的衔接表(索引表),原则是尽量简单,让衔接表最好只涉及到两张表!
(2),关口设计:
关口设计,就是设计什么时候动态创建库,什么时候动态创建表,要保证时间上和空间上的统一,保证用户同时面对的表不能太繁琐!
(3),操作设计:
一般而言,我们设计完动态库后,必须有自动控制,手动控制,混合控制三个选项供用户选择,还要设计好,控制的时间,一般自动选在闲置时间!
(4),安全设计:
在设计完数据库后,必须考虑数据安全性的问题,其中包括数据的一致性,完整性,保密性,操作权限等,保证用户整体数据不分离,用户必要数据不丢失,用户数据逻辑性不混乱!
(5),文档设计
设计完数据库后,必须配备详细的文档说明,不必到每个字段,但是关键字段要充分说明,方便后来者理解!
(6),维护设计
设计数据库时,要考虑好后期维护的难易程度,给特定用户开放维护接口,并配有相应的帮助文档!
(7),帮助设计
书写详细的帮助说明,用户在拿到帮助文档后能够快速上手,维护整个系统!
总结:
遇到问题多思考,多交流,请教高手,这是咱们死不要脸的革命精神的一部分,大家要好好总结自己的错误,有时候,错误是我们成长的关键所在
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/小桥流水78/article/detail/754883
推荐阅读
article
IDEA2023
版本创建
spring
boot
项目时,
Java
版本无法选择
Java
8问题解决_ide...
先简单说下出现本问题的原因:
spring
boot
3.0发布时提到未来
Java
17将会成为主流版本,所有的
Java
EE...
赞
踩
article
ESP32
-C3 应用 篇(实例
一
、通过
MQTT
协议连接
ONENET
上报
传感器
数据
,云
平台
下发灯光调...
4.全彩RGB LED控制5.周期
上报
数据
6.WiFi配网7.
MQTT
连接云
平台
我们还没有讲解 ESP-IDF 的工程结...
赞
踩
article
配置出现
L2TP
连接
尝试
失败
_
硅云安装
l2tp
连接
失败
...
1.查看服务是否启动。如果没有启动,则手动启动此电脑 右键 =》 管理 =》服务和应用程序 =》服务搜索 ①、IPsec...
赞
踩
article
DataStage
学习
笔记...
DataStage
介绍Websphere
DataStage
是一套专门对多种操作数据源的数据抽取、转换和维护过程进行...
赞
踩
article
基础
15
·OS库下的
python
第三方库
安装
(OS库(
操作系统
交互
),异常处理)_
cmd
安装
os
库...
参考点:OS库(
操作系统
交互
),异常处理import
os
libs = {"matplotlib","pygame"}t...
赞
踩
article
【智能大
数据分析
】
实验
1
MapReduce
实验
:
单词
计数_普开
mapreduce
编程:
单词
计数...
【智能大
数据分析
】
实验
1
MapReduce
实验
:
单词
计数_普开
mapreduce
编程:
单词
计数普开
mapreduce
编...
赞
踩
article
〖
产品
思维
训练白宝书 -
产品
思维
认知
篇①〗-
产品
思维
能够
为
我们
带来多大
的
价值?_你现在做
产品
有
认...
在阅读这篇文章之前,可能大家都
有
这样
的
疑惑,那就
是
什么
是
产品
思维
?其实就目前而言,任何一方都没
有
对 "
产品
思维
" 进行一...
赞
踩
article
助力
大
数据
集成
,且看
DataStage
新玩法_
datastage
mongodb
...
如何将传统
数据
和
大
数据
进行高效的
集成
、管理和分析呢?如何保证
数据
的准确性,一致性和可靠性呢?带着众多疑问,我们来看看IB...
赞
踩
article
NLP
-
Task1
:基于机器学习的
文本
分类
_
task1
基于
numpy
的
文本
分类
...
NLP
-
Task1
:基于机器学习的
文本
分类
实现基于logistic/softmax regression的
文本
分类
数据集...
赞
踩
article
免费体验
软件开发
生产线
CodeArts
...
一站式、全流程、安全可信的
软件开发
生产线,开箱即用,内置华为多年研发最佳实践,助力效能倍增和数字化转型免费体验
软件开发
生...
赞
踩
article
浅谈
国内
数据安全
现状及未来
趋势
...
2019年4月8日上午,据美国科技媒体ZDNet报道,有研究人员发现中国企业2019年前3个月出现数起简历信息泄露事故,...
赞
踩
article
JDK17
在
Windows
安装
以及
环境变量
配置(超详细图文教程)_
jdk17
环境变量
设置...
也称为Java SE API,是Java的核心类库,包括java.lang、java.io、java.util、jav...
赞
踩
article
ad
画
电路图
...
软件的安装原理图绘制以及通过excel快速命名引脚视频教程_
ad
画
电路图
ad
画
电路图
...
赞
踩
article
PostgreSQL
视图
_
postgres
中
视图
的
作用...
详细了解
视图
、函数(存储过程)、触发器、别名
视图
篇一、
视图
定义
视图
是从一个或者多个表中导出
的
,它
的
行为与表非常相似,...
赞
踩
article
从零开始
学习
大
模型
-第一章-
大
模型
是什么_
大
模型
如何
学习
...
通过这些步骤,初学者可以逐步建立起对
大
模型
的深入理解,并在实践中不断提升自己的技能。
学习
大
模型
的过程中,微调是一个关键环...
赞
踩
article
torch
学习 (
三十六
):
词
嵌入
(
word2vec
)_
torch
word2vec
...
自然语言是一套用来表达含义的复杂系统。这套系统中,
词
是表义的基本单元,
词
向量则是用来表示
词
的向量。把
词
映射为实数域向量的...
赞
踩
article
mysql
笔记:9.
数据
查询
_
mysql
数据
查询
...
数据
库管理系统的一个最重要功能就是
数据
查询
,
数据
查询
不应只是简单返回
数据
库中存储的
数据
,还应该根据需要对
数据
进行筛选,以...
赞
踩
article
MsSqlServerJdbcUrl
encrypt
、
trustServerCertificate
、...
为了允许应用程序使用 TLS 加密,从 1.2 版开始,Microsoft JDBC Driver for SQL Se...
赞
踩
article
OSPF
协议
原理简析...
OSPF
开放式最短路径优先,是一种链路状态路由
协议
,属于内部网关
协议
(IGP)_ospf
协议
ospf
协议
...
赞
踩
article
因子分析...
目录:什么是因子分析因子分析的作用因子分析模型因子分析的统计特征因子载荷矩阵的估计方法因子旋转为什么要做因子旋转因子旋转...
赞
踩
相关标签
java
spring boot
后端
物联网
嵌入式硬件
面试
git
操作系统交互
数据分析
mapreduce
大数据
产品思维
自我实现
产品思维的核心能力
迎娶白富美
数据可视化
数据处理
数据挖掘
自然语言处理
机器学习
神经网络
华为云
数据库