赞
踩
本人跟着黑马的视频做了近一个月,过程有些仓促,所以来复盘一下重要知识点。
主要就是java的spring cloud项目。
cloud的服务网关还有zuul,Zuul是基于Servlet的实现,属于阻塞式编程。而SpringCloudGateway则是基于Spring5中提供的WebFlux,属于响应式编程的实现,具备更好的性能。
还能选择使用Eureka作为服务中心,nacos多个配置中心的功能,配置中心还有个Spring Cloud Config,不过我没接触过。
- Nacos与eureka的共同点
- 都支持服务注册和服务拉取
- 都支持服务提供者心跳方式做健康检测
- Nacos与Eureka的区别
- Nacos支持服务端主动检测提供者状态:临时实例采用心跳模式,非临时实例采用主动检测模式
- 临时实例心跳不正常会被剔除,非临时实例则不会被剔除
- Nacos支持服务列表变更的消息推送模式,服务列表更新更及时
- Nacos集群默认采用AP方式,当集群中存在非临时实例时,采用CP模式;Eureka采用AP方式
看不懂?那看这个
接口方式:Nacos与Eureka都对外暴露了Rest风格的API接口,用来实现服务注册、发现等功能
实例类型:Nacos的实例有永久和临时实例之分;而Eureka只支持临时实例
健康检测:Nacos对临时实例采用心跳模式检测,对永久实例采用主动请求来检测;Eureka只支持心跳模式
服务发现:Nacos支持定时拉取和订阅推送两种模式;Eureka只支持定时拉取模式
springboot和mybatisplus是老搭档了,这次做项目的时候我发现分页插件的配置类是可以直接写到启动类下面,用@Bean声明就能生效了,不需要再写个配置类,还挺方便的。 实体类也可以用代码生成器直接生成。
@Bean
public MybatisPlusInterceptor mybatisPlusInterceptor() {
MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
interceptor.addInnerInterceptor(new PaginationInnerInterceptor(DbType.MYSQL));
return interceptor;
}
几种常见MQ的对比:头条项目需要的吞吐量很大,所以选择kafka
RabbitMQ | ActiveMQ | RocketMQ | Kafka | |
---|---|---|---|---|
公司/社区 | Rabbit | Apache | 阿里 | Apache |
开发语言 | Erlang | Java | Java | Scala&Java |
协议支持 | AMQP,XMPP,SMTP,STOMP | OpenWire,STOMP,REST,XMPP,AMQP | 自定义协议 | 自定义协议 |
可用性 | 高 | 一般 | 高 | 高 |
单机吞吐量 | 一般 | 差 | 高 | 非常高 |
消息延迟 | 微秒级 | 毫秒级 | 毫秒级 | 毫秒以内 |
消息可靠性 | 高 | 一般 | 高 | 一般 |
追求可用性:Kafka、 RocketMQ 、RabbitMQ
追求可靠性:RabbitMQ、RocketMQ
追求吞吐能力:RocketMQ、Kafka
追求消息低延迟:RabbitMQ、Kafka
运用Redis缓存技术,实现热数据的计算,提升系统性能指标
使用Mysql存储用户数据,以保证上层数据查询的高性能
使用Mongo存储用户热数据,以保证用户热数据高扩展和高性能指标
运用ES搜索技术,对冷数据、文章数据建立索引,以保证冷数据、文章查询性能
接口工具postman、swagger、knife4j
涉及身份验证的系统都需要存储用户的认证信息,常用的用户认证方式主要为用户名和密码的方式,为了安全起见,用户输入的密码需要保存为密文形式,可采用已公开的不可逆的hash加密算法,比如SHA256, SHA512, SHA3等,对于同一密码,同一加密算法会产生相同的hash值,这样,当用户进行身份验证时,也可对用户输入的明文密码应用相同的hash加密算法,得出一个hash值,然后使用该hash值和之前存储好的密文值进行对照,如果两个值相同,则密码认证成功,否则密码认证失败。
由于密码是由用户设定的,在实际应用中,用户设置的密码复杂度可能不够高,同时不同的用户极有可能会使用相同的密码,那么这些用户对应的密文也会相同,这样,当存储用户密码的数据库泄露后,攻击者会很容易便能找到相同密码的用户,从而也降低了破解密码的难度,因此,在对用户密码进行加密时,需要考虑对密码进行掩饰,即使是相同的密码,也应该要保存为不同的密文,即使用户输入的是弱密码,也需要考虑进行增强,从而增加密码被攻破的难度,而使用带盐的加密hash值便能满足该需求。
配置文件:
bootstrap.yml
- server:
- port: 51801
- spring:
- application:
- name: leadnews-user
- cloud:
- nacos:
- discovery:
- server-addr: 192.168.200.130:8848
- config:
- server-addr: 192.168.200.130:8848
- file-extension: yml
在nacos中创建配置yaml文件
- spring:
- datasource:
- driver-class-name: com.mysql.jdbc.Driver
- url: jdbc:mysql://localhost:3306/leadnews_user?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC
- username: root
- password: root
- # 设置Mapper接口所对应的XML文件位置,如果你在Mapper接口中有自定义方法,需要进行该配置
- mybatis-plus:
- mapper-locations: classpath*:mapper/*.xml
- # 设置别名包扫描路径,通过该属性可以给包中的类注册别名
- type-aliases-package: com.heima.model.user.pojos
- <?xml version="1.0" encoding="UTF-8"?>
-
- <configuration>
- <!--定义日志文件的存储地址,使用绝对路径-->
- <property name="LOG_HOME" value="e:/logs"/>
-
- <!-- Console 输出设置 -->
- <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
- <encoder>
- <!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度%msg:日志消息,%n是换行符-->
- <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
- <charset>utf8</charset>
- </encoder>
- </appender>
-
- <!-- 按照每天生成日志文件 -->
- <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
- <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
- <!--日志文件输出的文件名-->
- <fileNamePattern>${LOG_HOME}/leadnews.%d{yyyy-MM-dd}.log</fileNamePattern>
- </rollingPolicy>
- <encoder>
- <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
- </encoder>
- </appender>
-
- <!-- 异步输出 -->
- <appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender">
- <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
- <discardingThreshold>0</discardingThreshold>
- <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
- <queueSize>512</queueSize>
- <!-- 添加附加的appender,最多只能添加一个 -->
- <appender-ref ref="FILE"/>
- </appender>
-
-
- <logger name="org.apache.ibatis.cache.decorators.LoggingCache" level="DEBUG" additivity="false">
- <appender-ref ref="CONSOLE"/>
- </logger>
- <logger name="org.springframework.boot" level="debug"/>
- <root level="info">
- <!--<appender-ref ref="ASYNC"/>-->
- <appender-ref ref="FILE"/>
- <appender-ref ref="CONSOLE"/>
- </root>
- </configuration>

业务逻辑
- package com.heima.user.service.impl;
-
- import com.baomidou.mybatisplus.core.toolkit.Wrappers;
- import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
- import com.heima.model.common.dtos.ResponseResult;
- import com.heima.model.common.enums.AppHttpCodeEnum;
- import com.heima.model.user.dtos.LoginDto;
- import com.heima.model.user.pojos.ApUser;
- import com.heima.user.mapper.ApUserMapper;
- import com.heima.user.service.ApUserService;
- import com.heima.utils.common.AppJwtUtil;
- import org.apache.commons.lang3.StringUtils;
- import org.springframework.stereotype.Service;
- import org.springframework.util.DigestUtils;
-
- import java.util.HashMap;
- import java.util.Map;
-
-
- @Service
- public class ApUserServiceImpl extends ServiceImpl<ApUserMapper, ApUser> implements ApUserService {
-
- @Override
- public ResponseResult login(LoginDto dto) {
-
- //1.正常登录(手机号+密码登录)
- if (!StringUtils.isBlank(dto.getPhone()) && !StringUtils.isBlank(dto.getPassword())) {
- //1.1查询用户
- ApUser apUser = getOne(Wrappers.<ApUser>lambdaQuery().eq(ApUser::getPhone, dto.getPhone()));
- if (apUser == null) {
- return ResponseResult.errorResult(AppHttpCodeEnum.DATA_NOT_EXIST,"用户不存在");
- }
-
- //1.2 比对密码
- String salt = apUser.getSalt();
- String pswd = dto.getPassword();
- pswd = DigestUtils.md5DigestAsHex((pswd + salt).getBytes());
- if (!pswd.equals(apUser.getPassword())) {
- return ResponseResult.errorResult(AppHttpCodeEnum.LOGIN_PASSWORD_ERROR);
- }
- //1.3 返回数据 jwt
- Map<String, Object> map = new HashMap<>();
- map.put("token", AppJwtUtil.getToken(apUser.getId().longValue()));
- apUser.setSalt("");
- apUser.setPassword("");
- map.put("user", apUser);
- return ResponseResult.okResult(map);
- } else {
- //2.游客 同样返回token id = 0
- Map<String, Object> map = new HashMap<>();
- map.put("token", AppJwtUtil.getToken(0l));
- return ResponseResult.okResult(map);
- }
- }
- }

(1)在heima-leadnews-gateway导入以下依赖
pom文件
- <dependencies>
- <dependency>
- <groupId>org.springframework.cloud</groupId>
- <artifactId>spring-cloud-starter-gateway</artifactId>
- </dependency>
- <dependency>
- <groupId>com.alibaba.cloud</groupId>
- <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
- </dependency>
- <dependency>
- <groupId>com.alibaba.cloud</groupId>
- <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
- </dependency>
- <dependency>
- <groupId>io.jsonwebtoken</groupId>
- <artifactId>jjwt</artifactId>
- </dependency>
- </dependencies>

(2)在heima-leadnews-gateway下创建heima-leadnews-app-gateway微服务
引导类:
- package com.heima.app.gateway;
-
- import org.springframework.boot.SpringApplication;
- import org.springframework.boot.autoconfigure.SpringBootApplication;
- import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
-
- @SpringBootApplication
- @EnableDiscoveryClient //开启注册中心
- public class AppGatewayApplication {
-
- public static void main(String[] args) {
- SpringApplication.run(AppGatewayApplication.class,args);
- }
- }
bootstrap.yml
- server:
- port: 51601
- spring:
- application:
- name: leadnews-app-gateway
- cloud:
- nacos:
- discovery:
- server-addr: 192.168.200.130:8848
- config:
- server-addr: 192.168.200.130:8848
- file-extension: yml
在nacos的配置中心创建dataid为leadnews-app-gateway的yml配置
- spring:
- cloud:
- gateway:
- globalcors:
- add-to-simple-url-handler-mapping: true
- corsConfigurations:
- '[/**]':
- allowedHeaders: "*"
- allowedOrigins: "*"
- allowedMethods:
- - GET
- - POST
- - DELETE
- - PUT
- - OPTION
- routes:
- # 平台管理
- - id: user
- uri: lb://leadnews-user
- predicates:
- - Path=/user/**
- filters:
- - StripPrefix= 1

在网关微服务中新建全局过滤器:
- package com.heima.app.gateway.filter;
-
-
- import com.heima.app.gateway.util.AppJwtUtil;
- import io.jsonwebtoken.Claims;
- import lombok.extern.slf4j.Slf4j;
- import org.apache.commons.lang.StringUtils;
- import org.springframework.cloud.gateway.filter.GatewayFilterChain;
- import org.springframework.cloud.gateway.filter.GlobalFilter;
- import org.springframework.core.Ordered;
- import org.springframework.http.HttpStatus;
- import org.springframework.http.server.reactive.ServerHttpRequest;
- import org.springframework.http.server.reactive.ServerHttpResponse;
- import org.springframework.stereotype.Component;
- import org.springframework.web.server.ServerWebExchange;
- import reactor.core.publisher.Mono;
-
- @Component
- @Slf4j
- public class AuthorizeFilter implements Ordered, GlobalFilter {
- @Override
- public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
- //1.获取request和response对象
- ServerHttpRequest request = exchange.getRequest();
- ServerHttpResponse response = exchange.getResponse();
-
- //2.判断是否是登录
- if(request.getURI().getPath().contains("/login")){
- //放行
- return chain.filter(exchange);
- }
-
-
- //3.获取token
- String token = request.getHeaders().getFirst("token");
-
- //4.判断token是否存在
- if(StringUtils.isBlank(token)){
- response.setStatusCode(HttpStatus.UNAUTHORIZED);
- return response.setComplete();
- }
-
- //5.判断token是否有效
- try {
- Claims claimsBody = AppJwtUtil.getClaimsBody(token);
- //是否是过期
- int result = AppJwtUtil.verifyToken(claimsBody);
- if(result == 1 || result == 2){
- response.setStatusCode(HttpStatus.UNAUTHORIZED);
- return response.setComplete();
- }
- }catch (Exception e){
- e.printStackTrace();
- response.setStatusCode(HttpStatus.UNAUTHORIZED);
- return response.setComplete();
- }
-
- //6.放行
- return chain.filter(exchange);
- }
-
- /**
- * 优先级设置 值越小 优先级越高
- * @return
- */
- @Override
- public int getOrder() {
- return 0;
- }
- }

①:解压资料文件夹中的压缩包nginx-1.18.0.zip
②:解压资料文件夹中的前端项目app-web.zip
③:配置nginx.conf文件
在nginx安装的conf目录下新建一个文件夹leadnews.conf
,在当前文件夹中新建heima-leadnews-app.conf
文件
heima-leadnews-app.conf配置如下:
- upstream heima-app-gateway{
- server localhost:51601;
- }
-
- server {
- listen 8801;
- location / {
- root D:/workspace/app-web/;
- index index.html;
- }
-
- location ~/app/(.*) {
- proxy_pass http://heima-app-gateway/$1;
- proxy_set_header HOST $host; # 不改变源请求头的值
- proxy_pass_request_body on; #开启获取请求体
- proxy_pass_request_headers on; #开启获取请求头
- proxy_set_header X-Real-IP $remote_addr; # 记录真实发出请求的客户端IP
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; #记录代理信息
- }
- }

nginx.conf 把里面注释的内容和静态资源配置相关删除,引入heima-leadnews-app.conf文件加载
- #user nobody;
- worker_processes 1;
-
- events {
- worker_connections 1024;
- }
- http {
- include mime.types;
- default_type application/octet-stream;
- sendfile on;
- keepalive_timeout 65;
- # 引入自定义配置文件
- include leadnews.conf/*.conf;
- }
④ :启动nginx
在nginx安装包中使用命令提示符打开,输入命令nginx启动项目
可查看进程,检查nginx是否启动
重新加载配置文件:nginx -s reload
freemarker和minio的使用
依赖:
- <dependencies>
- <dependency>
- <groupId>org.springframework.boot</groupId>
- <artifactId>spring-boot-starter-freemarker</artifactId>
- </dependency>
- <dependency>
- <groupId>com.heima</groupId>
- <artifactId>heima-file-starter</artifactId>
- <version>1.0-SNAPSHOT</version>
- </dependency>
- </dependencies>
测试代码,仅供参考,里面的模板文件还有一些实体类对象都是没有写的:
- package com.heima.article.test;
-
-
- import com.alibaba.fastjson.JSONArray;
- import com.baomidou.mybatisplus.core.toolkit.Wrappers;
- import com.heima.article.ArticleApplication;
- import com.heima.article.mapper.ApArticleContentMapper;
- import com.heima.article.mapper.ApArticleMapper;
- import com.heima.file.service.FileStorageService;
- import com.heima.model.article.pojos.ApArticle;
- import com.heima.model.article.pojos.ApArticleContent;
- import freemarker.template.Configuration;
- import freemarker.template.Template;
- import org.apache.commons.lang3.StringUtils;
- import org.junit.Test;
- import org.junit.runner.RunWith;
- import org.springframework.beans.factory.annotation.Autowired;
- import org.springframework.boot.test.context.SpringBootTest;
- import org.springframework.test.context.junit4.SpringRunner;
-
- import java.io.ByteArrayInputStream;
- import java.io.InputStream;
- import java.io.StringWriter;
- import java.util.HashMap;
- import java.util.Map;
-
- @SpringBootTest(classes = ArticleApplication.class)
- @RunWith(SpringRunner.class)
- public class ArticleFreemarkerTest {
-
- @Autowired
- private Configuration configuration;
-
- @Autowired
- private FileStorageService fileStorageService;
-
-
- @Autowired
- private ApArticleMapper apArticleMapper;
-
- @Autowired
- private ApArticleContentMapper apArticleContentMapper;
-
- @Test
- public void createStaticUrlTest() throws Exception {
- //1.获取文章内容
- ApArticleContent apArticleContent = apArticleContentMapper.selectOne(Wrappers.<ApArticleContent>lambdaQuery().eq(ApArticleContent::getArticleId, 1390536764510310401L));
- if(apArticleContent != null && StringUtils.isNotBlank(apArticleContent.getContent())){
- //2.文章内容通过freemarker生成html文件
- StringWriter out = new StringWriter();
- Template template = configuration.getTemplate("article.ftl");
-
- Map<String, Object> params = new HashMap<>();
- params.put("content", JSONArray.parseArray(apArticleContent.getContent()));
-
- template.process(params, out);
- InputStream is = new ByteArrayInputStream(out.toString().getBytes());
-
- //3.把html文件上传到minio中
- String path = fileStorageService.uploadHtmlFile("", apArticleContent.getArticleId() + ".html", is);
-
- //4.修改ap_article表,保存static_url字段
- ApArticle article = new ApArticle();
- article.setId(apArticleContent.getArticleId());
- article.setStaticUrl(path);
- apArticleMapper.updateById(article);
-
- }
- }
- }

测试类:
- package com.heima.wemedia.test;
-
- import com.heima.common.aliyun.GreenImageScan;
- import com.heima.common.aliyun.GreenTextScan;
- import com.heima.file.service.FileStorageService;
- import com.heima.wemedia.WemediaApplication;
- import org.junit.Test;
- import org.junit.runner.RunWith;
- import org.springframework.beans.factory.annotation.Autowired;
- import org.springframework.boot.test.context.SpringBootTest;
- import org.springframework.test.context.junit4.SpringRunner;
-
- import java.util.Arrays;
- import java.util.Map;
-
- @SpringBootTest(classes = WemediaApplication.class)
- @RunWith(SpringRunner.class)
- public class AliyunTest {
-
- @Autowired
- private GreenTextScan greenTextScan;
-
- @Autowired
- private GreenImageScan greenImageScan;
-
- @Autowired
- private FileStorageService fileStorageService;
-
- @Test
- public void testScanText() throws Exception {
- Map map = greenTextScan.greeTextScan("我是一个好人,冰毒 ");
- System.out.println(map);
- }
-
- @Test
- public void testScanImage() throws Exception {
- byte[] bytes = fileStorageService.downLoadFile("http://101.42.235.20:9090/leadnews/2022/10/14/a9ecadb4ff6147e0b484b3ebafa4da02.png");
- Map map = greenImageScan.imageScan(Arrays.asList(bytes));
- System.out.println(map);
- }
- }

具体的思路标题链接中有,这里主要说一下几个问题。
- /**
- * mybatis-plus乐观锁支持
- * @return
- */
- @Bean
- public MybatisPlusInterceptor optimisticLockerInterceptor(){
- MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
- interceptor.addInnerInterceptor(new OptimisticLockerInnerInterceptor());
- return interceptor;
- }
sexnx (SET if Not eXists) 命令在指定的 key 不存在时,为 key 设置指定的值。
这种加锁的思路是,如果 key 不存在则为 key 设置 value,如果 key 已存在则 SETNX 命令不做任何操作
- /**
- * 加锁
- *
- * @param name
- * @param expire
- * @return
- */
- public String tryLock(String name, long expire) {
- name = name + "_lock";
- String token = UUID.randomUUID().toString();
- RedisConnectionFactory factory = stringRedisTemplate.getConnectionFactory();
- RedisConnection conn = factory.getConnection();
- try {
-
- //参考redis命令:
- //set key value [EX seconds] [PX milliseconds] [NX|XX]
- Boolean result = conn.set(
- name.getBytes(),
- token.getBytes(),
- Expiration.from(expire, TimeUnit.MILLISECONDS),
- RedisStringCommands.SetOption.SET_IF_ABSENT //NX
- );
- if (result != null && result)
- return token;
- } finally {
- RedisConnectionUtils.releaseConnection(conn, factory,false);
- }
- return null;
- }

修改未来数据定时刷新的方法,如下:
- /**
- * 未来数据定时刷新
- */
- @Scheduled(cron = "0 */1 * * * ?")
- public void refresh(){
-
- String token = cacheService.tryLock("FUTURE_TASK_SYNC", 1000 * 30);
- if(StringUtils.isNotBlank(token)){
- log.info("未来数据定时刷新---定时任务");
-
- //获取所有未来数据的集合key
- Set<String> futureKeys = cacheService.scan(ScheduleConstants.FUTURE + "*");
- for (String futureKey : futureKeys) {//future_100_50
-
- //获取当前数据的key topic
- String topicKey = ScheduleConstants.TOPIC+futureKey.split(ScheduleConstants.FUTURE)[1];
-
- //按照key和分值查询符合条件的数据
- Set<String> tasks = cacheService.zRangeByScore(futureKey, 0, System.currentTimeMillis());
-
- //同步数据
- if(!tasks.isEmpty()){
- cacheService.refreshWithPipeline(futureKey,topicKey,tasks);
- log.info("成功的将"+futureKey+"刷新到了"+topicKey);
- }
- }
- }
- }

- <dependency>
- <groupId>org.springframework.boot</groupId>
- <artifactId>spring-boot-starter-data-redis</artifactId>
- </dependency>
- <!-- redis依赖commons-pool 这个依赖一定要添加 -->
- <dependency>
- <groupId>org.apache.commons</groupId>
- <artifactId>commons-pool2</artifactId>
- </dependency>
使用ElasticSearch搜索,使用Mongodb保存搜索历史
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。