Prompt2Model:构建自然语言提示的任务定制模型

新知榜官方账号

2023-09-26 01:22:17

Prompt2Model简介

Prompt2Model是一种基于大型语言模型的通用模型构造方法,可以训练出适用于指定任务的模型,并易于部署。Prompt2Model框架包括多个步骤,如数据集检索、生成训练数据、搜索和训练模型、微调训练、自动化评估和部署等。实验结果表明,给出相同的少样本提示作为输入,Prompt2Model可以训练出一个比大型语言模型更强的小模型,在参数量仅为gpt-3.5-turbo的1/700的情况下,实现了20%的性能提升。

Prompt2Model框架组件

Prompt2Model框架包括提示解析器、数据集检索器、数据集生成器、模型检索器、模型训练器、模型评估器和演示创建器等多个组件。每个组件都可以由开发者进行重新实现或禁用,以满足不同的任务需求。

实验结果

实验结果表明,Prompt2Model在三个任务中的两个都实现了远超gpt-3.5-turbo的性能。值得注意的是,检索到的SQuAD和Temporal模型是Flan-T5,仅有250M的参数量,比gpt-3.5-turbo(175B参数)小700倍。

本页网址:https://www.xinzhibang.net/article_detail-13707.html

寻求报道,请 点击这里 微信扫码咨询

关键词

Prompt2Model 自然语言提示 任务定制模型

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯