赞
踩
文章内容输出来源:拉勾教育 Java高薪训练营
分布式集群解决方案相关
分布式:把一个系统拆分成多个子系统,每个子系统负责各自的功能,独立部署
集群啊:多个实例共同工作,将一个应用多份部署
Hash算法应用:密码学的安全加密(MD5、SHA等),数据存储和查找(Hash表,查询效率高)
Hash表:Hash表的查询效率与Hash算法关系密切,Hash算法能够让数据平均分布,既能节省空间又能提高查询效率
分布式集群架构Redis、Hadoop、ElasticSearch,Mysql分库分表,Ngnix负载均衡等
服务器宕机或者新加服务器会出现重新求模问题,会导致大量客户端会话丢失
负载均衡算法中的一种,相同的请求到固定的服务器上,当服务器宕机或者新增机器时只影响少部分请求到不同的服务器上;
原理:Hash环,根据服务器IP或者其它取hash值,置于hash环中,每个请求取hash,置于hash环中,按照顺时针方向取,遇到的第一个服务器hash就是处理此请求的服务器;
当服务器宕机或者新增服务器时只会影响宕机或者新增服务器顺时针相关的服务器,不会影响其它;
为了避免数据倾斜,加入了虚拟节点,让每个服务器计算多个虚拟hash值,让每个节点在环中分布得更加均匀
Hash算法:
- /**
- * Hash算法,性能高,碰撞率低
- *
- * @param key String
- * @return Long
- */
- public Long hash(String key) {
- ByteBuffer buf = ByteBuffer.wrap(key.getBytes());
- int seed = 0x1234ABCD;
-
- ByteOrder byteOrder = buf.order();
- buf.order(ByteOrder.LITTLE_ENDIAN);
-
- long m = 0xc6a4a7935bd1e995L;
- int r = 47;
-
- long h = seed ^ (buf.remaining() * m);
-
- long k;
- while (buf.remaining() >= 8) {
- k = buf.getLong();
-
- k *= m;
- k ^= k >>> r;
- k *= m;
-
- h ^= k;
- h *= m;
- }
-
- if (buf.remaining() > 0) {
- ByteBuffer finish = ByteBuffer.allocate(8).order(ByteOrder.LITTLE_ENDIAN);
- finish.put(buf).rewind();
- h ^= finish.getLong();
- h *= m;
- }
-
- h ^= h >>> r;
- h *= m;
- h ^= h >>> r;
- buf.order(byteOrder);
- return h;
- }
- // 定义服务器ip
- private static String[] tomcatServers = new String[]{"123.111.0.0", "123.101.3.1", "111.20.35.2", "123.98.26.3"};
-
- // 定义客户端IP
- private static String[] clients = new String[]{"10.78.12.3", "113.25.63.1", "126.12.3.8"};
-
- /**
- * 一致性Hash算法 含虚拟节点
- */
- private static void consistentHashWithVirtual() {
- //step1 初始化:把服务器节点IP的哈希值对应到哈希环上
- SortedMap<Integer, String> hashServerMap = new TreeMap<>();
-
- // 定义针对每个真实服务器虚拟出来几个节点
- int virtualCount = 3;
-
- for (String tomcatServer : tomcatServers) {
- // 求出每一个ip的hash值,对应到hash环上,存储hash值与ip的对应关系
- int serverHash = Math.abs(tomcatServer.hashCode());
- // 存储hash值与ip的对应关系
- hashServerMap.put(serverHash, tomcatServer);
-
- // 处理虚拟节点
- for (int i = 0; i < virtualCount; i++) {
- int virtualHash = Math.abs((tomcatServer + "#" + i).hashCode());
- hashServerMap.put(virtualHash, "----由虚拟节点" + i + "映射过来的请求:" + tomcatServer);
- }
- }
-
- //step2 针对客户端IP求出hash值
- System.out.println("==========>>>> ConsistentHashWithVirtual <<<<==========");
- for (String client : clients) {
- int clientHash = Math.abs(client.hashCode());
- //step3 针对客户端,找到能够处理当前客户端请求的服务器(哈希环上顺时针最近)
- // 根据客户端ip的哈希值去找出哪一个服务器节点能够处理()
- SortedMap<Integer, String> integerStringSortedMap = hashServerMap.tailMap(clientHash);
- if (integerStringSortedMap.isEmpty()) {
- // 取哈希环上的顺时针第一台服务器
- Integer firstKey = hashServerMap.firstKey();
- System.out.println("客户端:" + client + " 被路由到服务器:" + hashServerMap.get(firstKey));
- } else {
- Integer firstKey = integerStringSortedMap.firstKey();
- System.out.println("客户端:" + client + " 被路由到服务器:" + hashServerMap.get(firstKey));
- }
- }
- }
算法实现:一致性Hash算法
ngx_http_upstream_consistent_hash 模块是⼀个负载均衡器,使⽤⼀个内部⼀致性hash算法来选择合适的后端节点。
该模块可以根据配置参数采取不同的⽅式将请求均匀映射到后端机器
问题:在集群机器中可能存在不同服务器之间服务器时间不一致
解决方法:
- #使⽤ ntpdate ⽹络时间同步命令
- ntpdate -u ntp.api.bz #从⼀个时间服务器同步时间
-
- #windows有计划任务
- #Linux也有定时任务,crond,可以使⽤linux的定时任务,每隔10分钟执⾏⼀次ntpdate命令
- 1、如果有 restrict default ignore,注释掉它
- 2、添加如下⼏⾏内容
- restrict 172.17.0.0 mask 255.255.255.0 nomodify notrap # 放开局
- 域⽹同步功能,172.17.0.0是你的局域⽹⽹段
- server 127.127.1.0 # local clock
- fudge 127.127.1.0 stratum 10
- 3、重启⽣效并配置ntpd服务开机⾃启动
- service ntpd restart
- chkconfig ntpd on
集群中其他节点就可以从A服务器同步时间了
ntpdate 172.17.0.17
因为分库分布后不能使用自动递增主键,所以数据库分库分表时需要一种能够产生全局唯一ID的方案
UUID 是指Universally Unique Identifier,翻译为中⽂是通⽤唯⼀识别码
产⽣重复 UUID 并造成错误的情况⾮常低,是故⼤可不必考虑此问题。
Java中得到⼀个UUID,可以使⽤java.util包提供的⽅法:
java.util.UUID.randomUUID()
单独维护一个ID自增表,但性能低,如果库挂了就无法获取了,可靠性不够高
雪花算法是Twitter推出的⼀个⽤于⽣成分布式ID的策略。
雪花算法是⼀个算法,基于这个算法可以⽣成ID,⽣成的ID是⼀个long型,那么在Java中⼀个long型是8个字节,算下来是64bit,如下是使⽤雪花算法⽣成的⼀个ID的⼆进制形式示意:
SnowFlake雪花算法
一些互联⽹公司也基于上述的⽅案封装了⼀些分布式ID⽣成器,⽐如滴滴的tinyid(基于数据库实现)、百度的uidgenerator(基于SnowFlake)和美团的leaf(基于数据库和SnowFlake)等
算法实现:SnowFlake 雪花算法
存一个全局的自增数到一个redisKey中
定时任务形式:每隔⼀定时间/特定某⼀时刻执⾏
例如:
- 订单审核、出库
- 订单超时⾃动取消、⽀付退款
- 礼券同步、⽣成、发放作业
- 物流信息推送、抓取作业、退换货处理作业
- 数据积压监控、⽇志监控、服务可⽤性探测作业
- 定时备份数据
- ⾦融系统每天的定时结算
- 数据归档、清理作业
- 报表、离线数据分析作业
1)运⾏在分布式集群环境下的调度任务(同⼀个定时任务程序部署多份,只应该有⼀个定时任务在执⾏)
2)分布式调度—>定时任务的分布式—>定时任务的拆分(即为把⼀个⼤的作业任务拆分为多个⼩的作业任务,同时执⾏)
分布式任务调度
共同点:
本质不同:
定时任务的实现⽅式有多种。早期没有定时任务框架的时候,我们会使⽤JDK中的Timer机制和多线程机制(Runnable+线程休眠)来实现定时或者间隔⼀段时间执⾏某⼀段程序;后来有了定时任务框架,⽐如⼤名鼎鼎的Quartz任务调度框架,使⽤时间表达式(包括:秒、分、时、⽇、周、年)配置某⼀个任务什么时间去执⾏
- <!--任务调度框架quartz-->
- <!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz -->
- <dependency>
- <groupId>org.quartz-scheduler</groupId>
- <artifactId>quartz</artifactId>
- <version>2.3.2</version>
- </dependency>
示例实现:示例
Elastic-Job是当当⽹开源的⼀个分布式调度解决⽅案,基于Quartz⼆次开发的,由两个相互独⽴的⼦项⽬Elastic-Job-Lite和Elastic-Job-Cloud组成
Elastic-Job的github地址:https://github.com/elasticjob
路由后到了不同的服务器,导致了Session丢失,会出现重复登录问题
Session问题
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。