赞
踩
功能提示的,知识图增强分子对比学习
根据元素(来自元素周期表)和官能团(来自维基百科)知识构建元素知识图谱;其中元素知识用于对比学习框架的预训练,官能团知识用于提示微调(prompt tuning)
分为两步:构建知识图谱和知识图谱嵌入方法
知识图谱:是把所有不同种类的信息连接在一起而得到的一个关系网络。(从关系的角度出发)
语义网络:语义网络是一种用实体及其语义关系来表达知识的有向图。
节点:表示实体,表示各种事物、概念、情况、属性、状态、事件、动作等。
弧:代表语义关系,表示它所连接的两个实体之间的语义联系
rdf:资源描述框架;owl:对rdf的扩展。可以用软件 protégé 编辑和查看
参考博客链接:知识图谱本体建模
实体示意图(以C原子为例,右下角为实体属性) |
实体示意图
根据元素周期表编码一系列化学性质,作为数据属性赋值给ElenmentKG中每个实体。对于官能团,记录包含的键的类型;通过isPartOf对象属性建立元素与官能团实体之间的联系
考虑到的属性包括:
hasBoilingPoint1-9,hasMeltingPoint1-9;hasConductivity1-4;hasDensity1-3;hasElectronAffinity1-5 ;hasElectronegativity1-5;hasFamily1-18;hasHardness1-4;hasHeat1-6;hasIonization1-4;hasModulus1-4;hasPeriod1-7;hasRadius1-3;hasStateGas,hasStateLiquid,hasStateSolid;hasWeight1-8;
isPartOf
包括以下两步:
1)从ElementKG中提取语料信息(结构文档,词汇文档和组合文档)
2)基于语料库训练语言模型,得到KG嵌入
根据元素关系生成元素关系子图,将元素关系子图和原图对应节点连接得到增广图。原始分子图和它所生成的增广图视为“正对”,和其他所有的图都视为“负对”。最大化正对之间的一致性,最小化负对之间的一致性。
元素关系子图和原图之间并非严格的一一对应关系,它只关注元素种类,不关注每种原子的数量和连接方式,所以增广图是由原图和元素关系子图拼接形成的,否则在对比学习时会形成严重的冲突;微调时引入的官能团属性中加入了对化学键类型的描述。
由Element KG的官能团知识生成提示。提示生成器:
检测官能团,检索对应的实体嵌入,
构建中介体
将自注意力机制应用于中介词的嵌入和官能团实体的嵌入,获得功能提示。
将功能提示添加到每个原子节点的原始表示中,以产生提示增强的分子图,然后将其输入到预训练的图编码器中。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。