OpenAI表示，训练了一个基于GPT-4的模型，名为CriticGPT，用于捕获ChatGPT代码输出中的错误。开始将类似于CriticGPT的模型集成到我们的RLHF中，为OpenAI的培训师提供明确的人工智能帮助。计划进一步扩大RLHF在GPT-4上的应用规模并付诸实践。