赞
踩
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新网络安全全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上网络安全知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
**SQL:** `WordCount`案例
SELECT word,COUNT(*) AS cnt FROM MyTable GROUP BY word
**【1】声明式:** 用户只关系做什么,不用关心怎么做;
**【2】高性能:** 支持查询优化,可以获取更好的执行性能,因为它的底层有一个优化器,跟`SQL`底层有优化器是一样的。
**【3】流批统一:** 相同的统计逻辑,即可以流模型运行,也可以批模式运行;
**【4】标准稳定:** 语义遵循`SQL`标准,不易改动。当升级等底层修改,不用考虑`API`兼容问题;
**【5】易理解:** 语义明确,所见即所得;
### Table API 特点
`Table API`使得多声明的数据处理写起来比较容易。
1 #例如,我们将a<10的数据过滤插入到xxx表中
2 table.filter(a<10).insertInto(“xxx”)
3 #我们将a>10的数据过滤插入到yyy表中
4 table.filter(a>10).insertInto(“yyy”)
`Talbe`是`Flink`自身的一种`API`使得更容易扩展标准的`SQL`(当且仅当需要的时候),两者的关系如下:
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/0a45d92bfaf14c2481b3809b67e4170e.png)
### Table API 编程
`WordCount`编程示例
package org.apache.flink.table.api.example.stream;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.java.StreamTableEnvironment;
import org.apache.flink.table.descriptors.FileSystem;
import org.apache.flink.table.descriptors.OldCsv;
import org.apache.flink.table.descriptors.Schema;
import org.apache.flink.types.Row;
public class JavaStreamWordCount {
public static void main(String[] args) throws Exception { //获取执行环境:CTRL + ALT + V StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tEnv = TableEnvironment.getTableEnvironment(env); //指定一个路径 String path = JavaStreamWordCount.class.getClassLoader().getResource("words.txt").getPath(); //指定文件格式和分隔符,对应的Schema(架构)这里只有一列,类型是String tEnv.connect(new FileSystem().path(path)) .withFormat(new OldCsv().field("word", Types.STRING).lineDelimiter("\n")) .withSchema(new Schema().field("word", Types.STRING)) .inAppendMode() .registerTableSource("fileSource");//将source注册到env中 //通过 scan 拿到table,然后执行table的操作。 Table result = tEnv.scan("fileSource") .groupBy("word") .select("word, count(1) as count"); //将table输出 tEnv.toRetractStream(result, Row.class).print(); //执行 env.execute(); }
}
### 怎么定义一个 Table
`Table myTable = tableEnvironment.scan("myTable")` 都是从`Environment`中`scan`出来的。而这个`myTable` 又是我们注册进去的。问题就是有哪些方式可以注册`Table`。
**【1】Table descriptor:** 类似于上述的`WordCount`,指定一个文件系统`fs`,也可以是`kafka`等,还需要一些格式和`Schema`等。
tEnv.connect(new FileSystem().path(path))
.withFormat(new OldCsv().field(“word”, Types.STRING).lineDelimiter(“\n”))
.withSchema(new Schema().field(“word”, Types.STRING))
.inAppendMode()
.registerTableSource(“fileSource”);//将source注册到env中
**【2】自定义一个 Table source:** 然后把自己的`Table source`注册进去。
TableSource csvSource = new CsvTableSource(path,new String[]{“word”},new TypeInformation[]{Types.STRING});
tEnv.registerTableSource(“sourceTable2”, csvSource);
**【3】注册一个 DataStream:** 例如下面一个`String`类型的`DataStream`,命名为`myTable3`对应的`schema`只有一列叫`word`。
DataStream stream = …
// register the DataStream as table " myTable3" with
// fields “word”
tableEnv.registerDataStream(“myTable3”, stream, “word”);
### 动态表
如果流中的数据类型是`case class`可以直接根据`case class`的结构生成`table`
tableEnv.fromDataStream(ecommerceLogDstream)
或者根据字段顺序单独命名:用单引放到字段前面来标识字段名。
tableEnv.fromDataStream(ecommerceLogDstream,'mid,'uid …)
最后的动态表可以转换为流进行输出,如果不是简单的插入就使用`toRetractStream`
table.toAppendStream[(String,String)]
### 如何输出一个table
当我们获取到一个结构表的时候(`table`类型)执行`insertInto`目标表中:`resultTable.insertInto("TargetTable");`
**【1】Table descriptor:** 类似于注入,最终使用Sink进行输出,例如如下输出到`targetTable`中,主要是最后一段的区别。
tEnv
.connect(new FileSystem().path(path)).withFormat(new OldCsv().field(“word”, Types.STRING)
.lineDelimiter(“\n”)).withSchema(new Schema()
.field(“word”, Types.STRING))
.registerTableSink(“targetTable”);
**【2】自定义一个 Table sink:** 输出到自己的 sinkTable2注册进去。
TableSink csvSink = new CsvTableSink(path,new String[]{“word”},new TypeInformation[]{Types.STRING});
tEnv.registerTableSink(“sinkTable2”, csvSink);
**【3】输出一个 DataStream:** 例如下面产生一个`RetractStream`,对应要给`Tuple2`的联系。`Boolean`这行记录时`add`还是`delete`。如果使用了`groupby`,`table` 转化为流的时候只能使用`toRetractStream`。得到的第一个`boolean`型字段标识 `true`就是最新的数据(`Insert`),`false`表示过期老数据(`Delete`)。如果使用的`api`包括时间窗口,那么窗口的字段必须出现在`groupBy`中。
// emit the result table to a DataStream
DataStream<Tuple2<Boolean, Row>> stream = tableEnv.toRetractStream(resultTable, Row.class)
stream.filter(_._1).print()
**案例代码:**
package com.zzx.flink
import java.util.Properties
import com.alibaba.fastjson.JSON
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011
import org.apache.flink.table.api.java.Tumble
import org.apache.flink.table.api.{StreamTableEnvironment, Table, TableEnvironment}
object FlinkTableAndSql {
def main(args: Array[String]): Unit = {
//执行环境
val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
//设置 时间特定为 EventTime
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
//读取数据 MyKafkaConsumer 为自定义的 kafka 工具类,并传入 topic
val dstream: DataStream[String] = env.addSource(MyKafkaConsumer.getConsumer("FLINKTABLE&SQL"))
//将字符串转换为对象
val ecommerceLogDstream:DataStream[SensorReding] = dstream.map{
/\* 引入如下依赖
//告知 watermark 和 evetTime如何提取 val ecommerceLogWithEventTimeDStream: DataStream[SensorReding] =ecommerceLogDstream.assignTimestampsAndWatermarks( new BoundedOutOfOrdernessTimestampExtractor[SensorReding](Time.seconds(0)) { override def extractTimestamp(t: SensorReding): Long = { t.timestamp } }) //设置并行度 ecommerceLogDstream.setParallelism(1) //创建 Table 执行环境 val tableEnv: StreamTableEnvironment = TableEnvironment.getTableEnvironment(env) var ecommerceTable: Table = tableEnv.fromTableSource(ecommerceLogWithEventTimeDStream ,'mid,'uid,'ch,'ts.rowtime) //通过 table api进行操作 //每10秒统计一次各个渠道的个数 table api解决 //groupby window=滚动式窗口 用 eventtime 来确定开窗时间 val resultTalbe: Table = ecommerceTable.window(Tumble over 10000.millis on 'ts as 'tt).groupBy('ch,'tt).select('ch,'ch.count) var ecommerceTalbe: String = "xxx" //通过 SQL 执行 val resultSQLTable: Table = tableEnv.sqlQuery("select ch,count(ch) from "+ ecommerceTalbe +"group by ch,Tumble(ts,interval '10' SECOND") //把 Table 转化成流输出 //val appstoreDStream: DataStream[(String,String,Long)] = appstoreTable.toAppendStream[(String,String,Long)] val resultDStream: DataStream[(Boolean,(String,Long))] = resultSQLTable.toRetractStream[(String,Long)] //过滤 resultDStream.filter(_._1) env.execute()
}
}
object MyKafkaConsumer {
def getConsumer(sourceTopic: String): FlinkKafkaConsumer011[String] ={
val bootstrapServers = “hadoop1:9092”
// kafkaConsumer 需要的配置参数
val props = new Properties
// 定义kakfa 服务的地址,不需要将所有broker指定上
props.put(“bootstrap.servers”, bootstrapServers)
// 制定consumer group
props.put(“group.id”, “test”)
// 是否自动确认offset
props.put(“enable.auto.commit”, “true”)
// 自动确认offset的时间间隔
props.put(“auto.commit.interval.ms”, “1000”)
// key的序列化类
props.put(“key.deserializer”, “org.apache.kafka.common.serialization.StringDeserializer”)
// value的序列化类
props.put(“value.deserializer”, “org.apache.kafka.common.serialization.StringDeserializer”)
//从kafka读取数据,需要实现 SourceFunction 他给我们提供了一个
val consumer = new FlinkKafkaConsumer011[String](sourceTopic, new SimpleStringSchema, props)
consumer
}
}
### 关于时间窗口
【1】用到时间窗口,必须提前声明时间字段,如果是`processTime`直接在创建动态表时进行追加就可以。如下的`ps.proctime`。
val ecommerceLogTable: Table = tableEnv
.fromDataStream( ecommerceLogWithEtDstream,
mid,
uid,appid,
area,os,
ps.proctime )
【2】如果是`EventTime`要在创建动态表时声明。如下的`ts.rowtime`。
val ecommerceLogTable: Table = tableEnv
.fromDataStream( ecommerceLogWithEtDstream,
'mid,'uid,'appid,'area,'os,'ts.rowtime)
【3】**滚动窗口**可以使用`Tumble over 10000.millis on`来表示 ### 给大家的福利 **零基础入门** 对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。 ![](https://img-blog.csdnimg.cn/img_convert/95608e9062782d28f4f04f821405d99a.png) 同时每个成长路线对应的板块都有配套的视频提供: ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center) 因篇幅有限,仅展示部分资料 **网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。** **[需要这份系统化资料的朋友,可以点击这里获取](https://bbs.csdn.net/topics/618540462)** **一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!** 的视频提供: ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center) 因篇幅有限,仅展示部分资料 **网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。** **[需要这份系统化资料的朋友,可以点击这里获取](https://bbs.csdn.net/topics/618540462)** **一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。