自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第17章： BERT CommonLit Readability Prize比赛技术进阶详解_iron: private inference on transformers

第17章： BERT CommonLit Readability Prize比赛技术进阶详解
1，Data Label based on pairwise comparisions between excerpts
2，Target中数字为0的原因解析
3，文本对比中的技巧
4，target和std构成联合信息
5，Coarse Validation Loop
6，private test set
7，Hold-out validation、K-fold CV validation、Bootstrap resampling
11，Diversity of models：RoBERTa、BERT、DistilRoBERTa等联合使用
12，模型参数多样化：不同来源、不同层次的参数及Hyper parameters
13，多模型结合的training和inference时间复杂度分析
14，验证集pretraining的意义分析
15，对embeddings的size的处理
16，FFN代码分析
17，warmup数学原理及实现剖析
18，learning rate scheduler剖析
19，RoBERTa模型参数结构详解
20，Data enhancement解析和实现
21，外部数据集应该用在two-phase pretraining的具体什么阶段？
22，多样性模型背后的数学原理机制深度剖析
23，多样性数据来源背后的数学原理剖析
24，多层次数据编码数学原理分析
25，One-hot编码和Dense e