研究发现ChatGPT为程序Debug的成功率比多款代码修复工具还要高

ChatGPT冲击文字工作者行业,因为他有相当出色的写作能力,然而对于程序员来说 ChatGPT 也不能轻视。来自 PC Magazine 的报道,近日 Johannes Gutenberg University 及 University College London 电脑科学系研究发现 ChatGPT 可以用作为程序 Debug 用,而且它更比目前多款程序代码修复工具效果更为出色。

研究人员将 40 段错误代码提供给四种不同的代码修复系统,分别是 ChatGPT、Codex、CoCoNut 和 Standard APR。研究人员问 ChatGPT「这段代码有什么问题?」 在第一次测试中,ChatGPT 的表现与其他系统差不多,解决了 19 个问题,Codex 解决了 21 个,CoCoNut 解决了 19 个,Standard APR 解决了 7 个。

研究发现ChatGPT为程序Debug的成功率比多款代码修复工具还要高

研究人员发现 ChatGPT 的答案与 Codex 最相似,这「不足为奇」因为 ChatGPT 和 Codex 来自同一个语言模型家族。

然而,ChatGPT 经过第一轮的测试后,其后进一步改进其能力,最终 ChatGPT 解决了 31 个问题,并且胜过其他工具。研究员表示 ChatGPT 的一个强大优势在于可以通过对话跟系统交互,提供更详细的请求后,ChatGPT 会对问题提供更多信息, ChatGPT 成功率可以进一步提高,最终可修复 40 个错误中的 31 个,比其余的工具更为出色。

相关文章