IT 之家 2 月 24 日讯息，尽管 OpenAI 首席引申官萨姆・奥尔特曼（Sam Altman）坚称，到本年年底，东说念主工智能模子将好像超越"初级别"软件工程师，但该公司商讨东说念主员的最新商讨却标明，即使是现在滥觞进的 AI 模子，仍无法与东说念主类身手员相比好意思。

商讨东说念主员在一篇新论文中指出，即使是前沿模子 —— 即那些最具翻新性和冲破性的 AI 系统 ——"仍然无法处理大盛大"编程任务。为此，商讨东说念主员拓荒了一个名为 SWE-Lancer 的新基准测试器用，该器用基于开脱作事者网站 Upwork 上的 1400 多个软件工程任务。通过这一基准测试，OpenAI 对三款大型讲话模子（LLMs）进行了测试，差异是其自己的 o1 推理模子、旗舰家具 GPT-4o，以及 Anthropic 公司的 Claude 3.5 Sonnet。

具体而言，这一新基准测试评估了这些 LLMs 在处理 Upwork 上的两类任务时的推崇：一类是个体任务，波及建筑舛讹并实施建筑依次；另一类是照应任务，条件模子从更宏不雅的角度作念出更高等次的决策。值得风雅的是，在测试历程中，这些模子被拦阻访谒互联网，因此它们无法平直抄袭网上已有的近似谜底。

这些模子所承担的任务在 Upwork 上的价值累计可达数十万好意思元，但它们仅能处理一些名义的软件问题，却无法在大型名堂中真的找到舛讹过火根源。这种"半制品"的处理有贪图，关于与 AI 有过谐和教化的东说念主来说并不目生 ——AI 擅长输出听起来自信满满的信息，但在仔细审查时每每舛讹百出。

尽管论文指出，这三款 LLMs 每每好像"远快于东说念主类"地完成任务，但它们却无法承接舛讹的平庸性过火配景，从而导致处理有贪图"无理或不够全面"。

商讨东说念主员阐述称，Claude 3.5 Sonnet 的推崇优于另外两款 OpenAI 模子，而况在测试中"赚取"的金额也卓越了 o1 和 GPT-4o。然则，其大盛大谜底仍然是无理的。商讨东说念主员指出，任何模子若思被真的用于本体编程任务，王人需要具备"更高的可靠性"。

简而言之，该论文似乎标明，尽管这些前沿模子好像快速地处理一些细节任务，但它们在处理这些任务时的手段水平，仍远远不足东说念主类工程师。

尽管连年来这些大型讲话模子获得了快速的发展买球下单平台，而况改日还会接续卓越，但它们现在在软件工程边界的手段水平仍不足以取代东说念主类。然则 IT 之家风雅到，这似乎并未结巴一些首席引申官罢黜东说念主类身手员，转而使用这些尚未训练的 AI 模子。