8月20日周二,OpenAI宣布将面向企业客户推出“个性化定制服务”,即能够正常的使用各自的公司数据来“微调”(Fine-tuning)OpenAI目前最强大的AI模型GPT-4o。
有分析称,对于OpenAI当前的旗舰模型来说,微调是全新的功能,GPT-4o及其前身GPT-4此前均未提供过微调功能。最新举动说明各大AI模型研发公司对企业客户的竞争加剧。
目前,初创企业在商业AI产品方面的竞争生日益激烈,企业客户们也面临着慢慢的变大的压力,需要证明其在AI投资方面能获得可观收益。
OpenAI的竞争对手们、特别是谷歌和微软都在提供定制人工智能模型的能力,OpenAI则在2023年为GPT-3模型发布过自助微调API,今年7月推出更便宜的GPT-4o mini模型微调服务。此外,AI模型微调还催生出Cloudera等帮企业根据特定领域数据集训练通用模型的“中介”。
OpenAI的API产品负责人Olivier Godement对媒体表示,OpenAI希望能够通过直接与企业用户合作,帮他们更轻松地调整其最强大的模型,而不是使用外部服务或功能较弱的模型产品:“我们从始至终很注重降低门槛、减少摩擦和减少起步所需的工作量。”
为了微调模型,客户必须将特定数据集上传到OpenAI的服务器,OpenAI在官网公告中强调了“数据隐私与安全”:
“经过微调的模型完全由您控制,您完全拥有您的业务数据,包括所有输入和输出。这确保您的数据永远都不可能被共享或用于训练其他模型。我们还为经过微调的模型实施了分层安全缓解措施,以确保它们不会被滥用。例如,我们持续对经过微调的模型进行自动安全评估,并监控使用情况,以确保应用程序遵守我们的使用政策。”
负责模型定制化工作的OpenAI软件工程师John Allard称,微调训练平均需要一到两个小时,与对GPT-4o mini类似,最初用户只可以使用基于文本的数据来微调模型,而不可以使用图像或其他内容。
OpenAI的官方公告指出,微调GPT-4o后的自定义版本能大大的提升应用程序的性能和准确性,GPT-4o微调功能现已面向所有付费使用层级的所有研发人员开放。
在费用方面,GPT-4o微调训练费用为每百万个token花费25美元,推理费用为每百万个输入token花费3.75美元,每百万个输出token花费15美元,不过在9月23日之前将每天为每个组织免费提供100万个训练token。而GPT-4o mini的微调将在9月23日之前每天免费提供200万个训练token。
模型微调,指的是将已经预训练好的通用大模型,针对特定任务或数据集进行参数调整和优化,以提升模型在特定类型的任务或者主题领域内的表现。据百度智能云介绍:
预训练大模型虽然具备强大的通用能力,但在面对特定领域的复杂问题时,往往显得力不从心。微调类似于在通用知识基础上进行专业相关知识的补充和强化,使模型更“接地气”,能更好地解决实际问题。模型微调通过针对性的优化,使模型在保持原有知识的基础上,快速适应新任务,提高任务的完成度和准确性。这一过程不仅加速了AI技术的落地应用,还降低了模型开发的成本和门槛。
OpenAI表示,GPT-4o微调功能是开发者最期待的功能之一。从编码到创意写作,微调会对所有的领域的模型性能产生巨大影响。而OpenAI将继续投资,为开发者扩展其模型的自定义选项:
开发人员现在能够正常的使用自定义数据集对 GPT-4o 进行微调,以更低的成本获得更高的性能,满足特定用例的需求。微调使模型能够自定义响应的结构和语气,或遵循复杂的特定领域指令。研发人员只需使用训练数据集中的几十个示例,就可以为他们的应用程序产生强大的结果。