OpenAI 首席科学家：人工智慧发展太快 监控技术跟不上

OpenAI首席科学家帕乔基（Jakub Pachocki）发表长文警告，人工智慧（AI）能力正快速接近甚至超越人类，但安全、对齐与监控技术已开始跟不上，因此AI发展不能只追求速度。

帕乔基6日在《异类心智》（An Alien Mind）一文指出，推理型语言模型已快速进入经济活动，推进科学研究，并能与人类及其他AI协作，但也带来新的资安风险。

他说，OpenAI近年内部研究显示，AI未来可能进入递回式自我改进（RSI），系统能力可望在未来几年再度大幅跃升。他警告，没人准备好面对机器智慧持续快速提升的后果，因此必须极度谨慎，并采取更广泛介入措施。AI不必在所有能力上超越人类，只要在足够多的重要领域胜出，就可能产生重大影响，而人类也愈来愈难准确掌握它究竟有多强。

AI研究的核心问题之一是「对齐」，也就是让AI依人类标准努力做正确的事。但难题在于「泛化能力」（generalization）：AI进入不同于训练环境的情境时，未必能可靠运用训练时学到的价值。帕乔基指出，对齐技术未必能跟上模型能力成长。

OpenAI过去主要依赖「思考链监控」来验证对齐技术的有效性，但随著AI与人类、其他AI及工具互动日益复杂，且模型愈来愈能操控自身推理，这种监控方式的可靠性正在下降。未来AI发展速度可能取决于人类能多有把握地监控这些系统。

帕乔基说，透过持续开发更强AI来防御其他AI的威胁，不能成为鲁莽发展AI的借口。他主张，一方面要让对齐与监控技术跟上AI能力，另一方面则应在必要时放慢发展，直到安全措施更可靠，AI扩大规模的速度应受安全信心水准约束。