- 1python中对字符串进行左、中、右对齐操作_python中center和左对齐
- 2Soul中使用的zookeeper监听功能尝试和nacos同步源码解读_soul有监听吗
- 3腾讯云ES RAG最佳实践：向量+文本混合搜索的相关性调优
- 4python修改pip源,使用config命令
- 5Oracle学习笔记（八）。数据库约束。非空约束(NOT NULL)，唯一性约束(UNIQUE)，主键约束(PRIMARY KEY)，外键约束(FOREIGN KEY)，自定义约束(CHECK)_数据库自定义约束
- 6docker一个容器部署SpringBoot的jar包，需要cp文件夹到容器中运行时候找不到文件夹_docker 容器启动jar包,访问不到容器内部目录
- 7本周大新闻｜Meta AI部门重大重组，疑似Cambira CAD图曝光_途青亭网 labs 硬件, ar / vr 部门的投资消息后。本周 meta
- 8Flutter 常用组件-总览_flutter 所有组件
- 9编译Qt for mac universal 版本有感_macos qt6 arm64架构 编译qt6
- 10完整指南：如何使用 Stable Diffusion API_stable diffusion api 获取模型怎么登陆
被喷麻了的OpenAI，终于又开源了~
赞
踩
ChatGPT狂飙160天，世界已经不是之前的样子。
新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源
此次开源的工具为Transformer Debugger ，一个用于分析Transformer内部结构的工具。研究人员不用写代码，就能快速探索LLM的内部构造，从而对小模型的特定行为进行调查。
Transformer Debugger 介绍
Transformer Debugger (TDB) 是 OpenAI 对齐团队（Superalignment）开发的一种工具，旨在支持对小体量语言模型的特定行为进行检查。据介绍，该工具把自动可解释性技术与稀疏自动编码器进行了结合。
具体来说，TDB 能够在写代码之前进行快速探索，并能够干预前向传递，帮助人们查看它是如何影响模型特定行为的。TDB 可用于回答诸如“为什么模型在此提示（prompt）中输出 token A 而不是 token B？”之类的问题或“为什么模型的关注点从token H 转向 token T？”
它通过识别对行为有贡献的特定组件（神经元、关注点、自动编码器 latents），显示自动生成的解释来分析导致这些组件最强烈激活的原因，并跟踪组件之间的连接来帮助人们发现关联性，以此来帮助人们进行 Transformer 的 debug 工作。
OpenAI 放出了几段视频概述了 TDB 的能力，并展示了如何使用它来进行论文《Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small》中的工作：
本次，OpenAI 的开源内容包括：
- Neuron viewer：一个 React 应用程序，用于托管 TDB 以及包含有关各个模型组件（MLP 神经元、关注点和两者的自动编码器 latents）信息的页面。
- Activation server：对主题模型进行推理，为 TDB 提供数据的后端服务器。它还从公共 Azure 存储桶读取和提供数据。
- Models：GPT-2 模型及其自动编码器的简单推理库，带有捕获激活的 hook。
- 整理好的激活数据集：包含 MLP 神经元、关注点和自动编码器 latents 的数据集示例。
安装步骤
此次开源的工具为Transformer Debugger ，一个用于分析Transformer内部结构的工具。研究人员不用写代码，就能快速探索LLM的内部构造，从而对小模型的特定行为进行调查。
Transformer Debugger 介绍
Transformer Debugger (TDB) 是 OpenAI 对齐团队（Superalignment）开发的一种工具，旨在支持对小体量语言模型的特定行为进行检查。据介绍，该工具把自动可解释性技术与稀疏自动编码器进行了结合。
具体来说，TDB 能够在写代码之前进行快速探索，并能够干预前向传递，帮助人们查看它是如何影响模型特定行为的。TDB 可用于回答诸如“为什么模型在此提示（prompt）中输出 token A 而不是 token B？”之类的问题或“为什么模型的关注点从token H 转向 token T？”
它通过识别对行为有贡献的特定组件（神经元、关注点、自动编码器 latents），显示自动生成的解释来分析导致这些组件最强烈激活的原因，并跟踪组件之间的连接来帮助人们发现关联性，以此来帮助人们进行 Transformer 的 debug 工作。
OpenAI 放出了几段视频概述了 TDB 的能力，并展示了如何使用它来进行论文《Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small》中的工作：
本次，OpenAI 的开源内容包括：
- Neuron viewer：一个 React 应用程序，用于托管 TDB 以及包含有关各个模型组件（MLP 神经元、关注点和两者的自动编码器 latents）信息的页面。
- Activation server：对主题模型进行推理，为 TDB 提供数据的后端服务器。它还从公共 Azure 存储桶读取和提供数据。
- Models：GPT-2 模型及其自动编码器的简单推理库，带有捕获激活的 hook。
- 整理好的激活数据集：包含 MLP 神经元、关注点和自动编码器 latents 的数据集示例。
安装步骤
ChatGPT狂飙160天，世界已经不是之前的样子。
新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源
