当前位置:   article > 正文

NLP+LLM从入门到精通系列_nlp到llm

nlp到llm

NLP+LLM从入门到精通系列

前言:笔者从事于NLP+LLM的对话智能机器人的相关行业,现在的大模型的技术日新月异,传统的NLP业务显然是要被淘汰的,那么这也是我着笔写这一系列文章的初衷。本系列将由浅到深,结合实际代码案例,帮助想要入门的小伙伴们更快掌握,以下是本系列的文章结构与预告,希望小伙伴们可以留下一个点赞和关注,你们的关注便是我更新的动力.(本系列相关知识/提子获取/openai账户/我的私有训练语料库以及数据集等等 可关注)

如果本系列反响还不错的话,我会额外出一系列关于从0到1搭建一个企业级的NLP+LLM智能对话机器人(更加关注LLMOps应用平台开发,就不会像本系列过多讲解基础知识点),敬请期待

1.NLP是什么

1-1 语言的产生:语音、词汇、语法

点这里

1-2 什么是NLP

点这里

1-3 NLP为什么这么难做

点这里

1-4 NLP发展历史以及我的工作感悟

点这里

2.数学基础讲解

2-1 概率论基础讲解

点这里

2-2 贝叶斯与信息理论

点这里

2-3 基于概率统计的模型采样知识

点这里

2-4 机器学习是什么(上)

点这里

2-5 机器学习是什么(下)

点这里

2-6 降维方法介绍

点这里

2-7 从已知结果中学习未知问题-回归与分类

点这里

2-8 聚类算法介绍

点这里

2-9 模型评估指标

点这里

2-10 文本分析流程1

点这里

2-11 文本分析流程2

点这里

2-12 中文处理的难题-分词

点这里

2-13 词语的处理:独热编码和词嵌入表示

点这里

3.神经网络与深度学习

3-1 激活函数和神经网络思想

点这里

3-2 梯度与反向传播

点这里

3-3 超参数

点这里

3-4 优化器和学习率

点这里

3-5 提高模型效果:归一化

点这里

3-6 构建线性模型解决温度计示数转换问题
3-7 使用深度学习解决温度即示数问题

4.文本处理

4-1 文本预处理:分词、停用词、特殊字符消失术
4-2 文本向量化
4-3 基于python的文本预处理封装
4-4 词嵌入技术(word2vec)
4-5 分类问题:给文本打标签
4-6 序列标注问题:发现特定词语
4-7 大语言模型的演进,助力NLP
4-8 注意力机制
4-9 大模型微调
4-10 生成式AI,像人类一样对话
4-11 自然语言处理常见的评价指标-AUC、BLEU、ROUGE等等
4-12 构建丰富的语料库和精选数据集
4-13 NLP常用工具,anaconda、NLTK

5.内容理解详谈

5-1 为什么要做内容理解
5-2 NLP在内容理解体系发挥的作用(上)
5-3 NLP在内容理解体系发挥的作用(下)
5-4 新闻APP标准文本如何面向推荐系统构建内容理解体系(上)
5-5 新闻APP标准文本如何面向推荐系统构建内容理解体系(下)
5-6 融合了多种内容类型的马蜂窝旅行内容理解如何配合运营体系运转(上)
5-7 融合了多种内容类型的马蜂窝旅行内容理解如何配合运营体系运转(下)
5-8 内容理解在点评UGC场景下辅助风险控制(上)
5-9 内容理解在点评UGC场景下辅助风险控制(下)
5-10 京东商城下的内容理解与智能创意(上)
5-11 京东商城下的内容理解与智能创意(下)

6.如何处理文本相似问题

6-1 文本相似度检测的类型:长文本短文本、词语句子段落、字符级语义级
6-2 在内容理解体系中,相似度检测可以解决什么
6-3 文本相似度检测的评估效果
6-4 使用编辑距离计算词或短语级的文本相似度
6-5 使用SIMHASH算法计算海量长文本的相似度
6-7 使用word2vec解决语义级别的短文本相似问题

7.实体识别

7-1 实体识别能够解决什么
7-2 在内容理解体系中借助实体识别搭建基础能力
7-3 为实体识别的结果构建评价方案时有哪些可用的指标
7-4 RNN在NLP中如何发挥作用
7-5 延长网络的记忆,长短时记忆网络(LSTM)都对RNN做了哪些改进
7-6 从规则到概率,条件随机场CRF算法助力网络模型认识规律
7-7 实体识别实战:ner bert lstm crf(上)
7-8 实体识别实战:ner bert lstm crf(下)
7-9 实体识别实战:ner bilstm crf

8.文本分类

8-1 内容理解中最广泛的文本分类有哪些
8-2 如何在内容理解体系搭建中借助文本分类的力量
8-3 文本分类任务效果的评估:离线指标、人工测评、线上效果
8-4 情感分析在内容平台的实践
8-5 卷积神经网络基础知识
8-6 处理情感分类的数据集并搭建卷积网络(上)
8-7 处理情感分类的数据集并搭建卷积网络(下)
8-8 实战:使用word2vec为数据集构建词向量,并寻找相似词
8-9 实战:使用word2vec的fasttext工具来解决文本分类的问题
8-10 transformer的衍生品Bert如何应用于文本分类
8-11 内容理解体系中多级多标签分类问题(上)
8-12 内容理解体系中多级多标签分类问题(下)
8-13 如何在具体业务中准备数据(上)
8-14 如何在具体业务中准备数据(下)
8-15 为企业级分类任务设计一个可扩展、易调整的算法构架
8-16 如何分布式工程部署

9.LLM+NLP

9-1 文本提取与文本生成能为我们提供哪些能力
9-2 在内容理解中,我们如何借助文本提取和文本生成能力来搭建我们的能力框架
9-3 没有标准答案的提取和生成任务如何评估效果
9-4 探索很老但很有用的TFIDF提取技术
9-5 谷歌的TextRank算法
9-6 GPT1模型-初代生成式预训练模型
9-7 GPT2模型-更强大的生成式预训练模型
9-8 GPT3模型-开创性的生成式预训练模型
9-9 InstructGPT在GPT3的基础上的三大改进点(上)
9-10 InstructGPT在GPT3的基础上的三大改进点(下)
9-11 实战:借助开源的GPT2模型搭建我们自己的生成式任务方案
9-12 实战:使用GPT2自动生成文本标题
9-13 实战:引入评估模型来提高生成效果
9-14 实战:借助ChatGPT的API实现文本摘要提取

10.后话

10-1 内容理解与NLP实战课程回顾
10-2 大模型时代的AI价值对齐
10-3 NLP大模型展望
10-4 大模型时代下如何继续跟进NLP的发展
10-5 系列文章结束语==>企业级项目实战的0-1教学介绍
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/神奇cpp/article/detail/873664
推荐阅读
相关标签
  

闽ICP备14008679号