赞
踩
目录
Self-Supervised Learning
BERT
BERT训练
masking input(随机遮盖一些输入单位)
next sentence prediction(预测前后两个句子是否相接)
BERT的fine-tune应用
BERT框架
对比预训练与随机初始化
GLUE(测试BERT的能力)
case 1-语句分类
case 2-词性标注
case 3-句意立场分析
case 4-问答系统
Pre-training a seq2seq model
Training BERT is challenging
为什么做填空题的BERT有用
Contextualized embedding
使用BERT分类蛋白质、DNA链和音乐
Multi-lingual BERT(多语言BERT)
为什么可以做到Multi-lingual BERT:Cross-lingual Alignment
GPT
GPT的框架概念
如何使用GPT
Self-supervesed Learning Beyond Text
Image - SimCLR
Image - BYOL
Speech
auto-encoder(自编码器)
auto-encoder的运作机制
Encoder和Decoder
动机:“降维”(Dimension Reduction)
为什么可以实现维度下降
De-noising auto-encoder:Auto-Encoder 的变形
auto-encoder应用
feature disent