就在刚刚，阿谁掌管 OpenAI 安全的北大学友，OpenAI 计划副总裁（安全）翁荔，去职了。

翁荔是 OpenAI 华东说念主科学家、ChatGPT 的孝敬者之一。

北大毕业后，翁荔在 2018 年加入 OpenAI，自后在 GPT-4 技俩中主要参与预熟悉、强化学习和对皆、模子安全等方面的职责。

最盛名的 Agent 公式也由她提议，即：Agent= 大模子 + 回首 + 主动筹画 + 器具使用。

而就在前不久，她还刚刚现身2024 Bilibili 超等科学晚行为，发表了的主题演讲。

在她晓喻去职音讯之后，包括 OpenAI 在内的繁密同事发来了祝愿：

翁荔的去职信

在推文中，翁荔也分享了他跟团队作念的临了的说念别。

以下为去职信的好意思满履行。

亲爱的一又友们：

我作念出了一个异常勤勉的决定，将于 11 月 15 日离开 OpenAI，这将是我在公司临了一天。

OpenAI 是我成长为科学家和领导者的所在，我将永恒叹气在这里与每一位同事的伙伴渡过的时光。OpenAI 团队一直是我的心腹、导师以及我身份的一部分。

我仍然谨记 2017 年头加入 OpenAI 时的那份趣味和关心。其时咱们是一群怀抱着不成能与科幻异日梦思的东说念主。

我在这里动手了我的全栈机器东说念主挑战之旅——从深度强化学习算法，到感知，再到固件开拓——方针是造就一个浅易的机械手如何解开魔方。这破耗了所有这个词这个词团队两年时刻，但最终咱们告捷了。

当 OpenAI 干涉 GPT 规模时，咱们动手探索如何将起首进的 AI 模子讹诈于现实寰宇。我建立了第一个讹诈计划团队，推出了开动版块的微调 API、镶嵌 API 和审核端点，为讹诈安全职责奠定了基础，还为早期的 API 客户开拓了好多新颖的处分决议。

在 GPT-4 发布后，我被条目承担新的挑战，重新探求 OpenAI 的安全系统愿景，并将所有这个词职责聚会到一个认真所有这个词这个词安举座系的团队。

这是我资格过的最艰难、最病笃又令东说念主昌盛的事情之一。如今，安全系统团队领有跨越 80 位出色的科学家、工程师、技俩司理、策略大众，我为咱们动作一个团队所获取的一切确立感到极为骄慢。

咱们见证了每次发布的中枢——从 GPT-4 偏激视觉和 Turbo 版块，到 GPT Store、语音功能以及 01 版块。咱们在熟悉这些模子以达到负累赘和故意的方针上建筑了新的行业尺度。

我越过为咱们最新确实立 o1 预览版感到骄慢，它是咱们迄今为止最安全的模子，展现了出色的抗破解才智，同期保合手了模子的有效性。

咱们的集体确立令东说念主详实：

咱们熟悉模子如何处理敏锐或不安全的申请，包括何时远离或束缚绝，并通过恪守一套明确的模子安全步履策略，完毕安全与实用之间的精熟均衡。

咱们在每次模子发布中提高了抵挡性鲁棒性，包括针对破解的防患、指示档次结构，并通过推理大幅增强了鲁棒性。

咱们策划了严格且富饶创意的测试要道，使模子与《准备框架》保合手一致，并为每个前沿模子进行了全面的安全测试和红队测试。

咱们在详备的模子系统卡中强化了对透明性的开心。

咱们开拓了业内当先的审核模子，具有多款式才智，并免费向公众分享。咱们刻下在一个更通用的监控框架和增强安全推理才智的方进取职责，将赋能更多的安全职责流。

咱们为安全数据日记、度量、状貌盘、主动学习管说念、分类器部署、推理时刻过滤以及一种新的快速反映系统奠定了工程基础。

转头咱们所获取确实立，我为安全系统团队的每一个东说念主感到无比骄慢，并极为驯顺这个团队将链接闹热发展。我爱你们。

在 OpenAI 的七年之后，我准备好重新起程，探索一些新的规模。OpenAI 正沿着火箭般的轨迹前进，我赤心祝愿这里的每一个东说念主一切顺利。

附注：我的博客将链接更新。我大致会有更多时刻来更新它 & 可能也会有更多时刻编写代码 。

爱你们的，

Lilian

铁打的 OpenAI，活水的安全摆布

自 OpenAI 确立以来，安全摆布这个环节职位历经屡次更迭。

最早在 2016 年，OpenAI 的安全摆布由达里奥 · 阿莫代伊（Dario Amodei）担任，在他的领导下，安全系统团队专注于减少现存模子和产物的浪费风险，尤其是围绕 GPT-3 的安全性开展了深入计划。

阿莫代伊主导了 GPT-3 的全面安全评估，以确保模子在发布前流程严格的安全测试和评估，最大适度地裁汰潜在的浪费风险。

他在 OpenAI 的职责为自后东说念主工智能的安全料理奠定了伏击基础。

2021 年，阿莫代伊离开 OpenAI 创立了 Anthropic 公司，链接戮力于于东说念主工智能的安全计划，推动构建更具确凿度和安全性的 AI 模子。

在阿莫代伊之后，还有片时任职 2 个月的安全摆布，亚历山大 · 马德里（Aleksander Madry）。

他在任本领主要聚焦对新模子的才智进行评估，并开展里面红队测试，以识别仁爱解潜在的安全风险。

天然他的任期较短，但他在红队测试和威迫推测上的伏击鼓励，为 OpenAI 的安全实施提供了新的视角和要道论。

在 2023 年 7 月后，马德里转而专注于" AI 推理"方面的职责，离开了安全摆布的职位。

在他之后的第三位安全摆布，则是杨 · 莱克（Jan Leike），在 2023 年 7 月至 2024 年 5 月担任这一职务，和 Ilya 沿路领导"超等对皆"技俩，方针是在四年内处分超智能 AI 的对皆问题。

在此本领，杨 · 莱克推动了使用袖珍模子监督和评估大型模子的计划，始创了对超东说念主类才智模子进行实证对皆的新要道。

这种要道对于领略和应答高档东说念主工智能模子的步履具有深入影响。

但是，由于与公司在安全和产物优先级上的不合，杨 · 莱克于 2024 年 5 月晓喻去职。

尽管如斯，他在对皆计划方面的孝敬，为后续东说念主工智能的可控性计划奠定了表面和实施基础。

而翁荔则是于 2024 年 7 月担任 OpenAI 安全摆布。

对于翁荔

翁荔是 OpenAI 华东说念主科学家、ChatGPT 的孝敬者之一，本科毕业于北大，在印第安纳大学伯明顿分校攻读博士。

毕业之后的翁荔先是片时的在 Facebook 实习了一段时刻，第一份职责则是赴任于 Dropbox，担任软件工程师。

她于 2018 年加入 OpenAI，在 GPT-4 技俩中主要参与预熟悉、强化学习和对皆、模子安全等方面的职责。

在 OpenAI 客岁底确立的安全照顾人团队中，翁荔领导安全系统团队（Safety Systems），处分减少现存模子如 ChatGPT 浪费等问题。

翁荔在 Google Scholar 的援用量也达到了 13000+ 次。

此前她提议的提议LLM 外皮幻觉（extrinsic hallucination）的博文也诟谇常火爆。

翁荔重心关注外皮幻觉，究诘了三个问题：产生幻觉的原因是什么？幻觉检测，拒抗幻觉的要道。

对于计划的细节，不错点击这里检察：万字 blog 详解拒抗目的、产幻原因和检测神色。

至于翁荔去职后的去处，量子位也会保合手合手续的关注。

参考和谐：

[ 1 ] https://x.com/lilianweng/status/1855031273690984623

[ 2 ] https://www.linkedin.com/in/lilianweng/足球投注app