Is ChatGPT a general-purpose natural language processing task solver?

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请注明出处。

Is ChatGPT a general-purpose natural language processing task solver? 

本文章是 Nanyang Technological University, Amazon Web Services，Shanghai Jiao Tong University, Georgia Institute of Technology,  Stanford University在2023年2月8日发表的文章，内容主要为实验报告，其ChatGPT数据采集时间为2023.01.10~2023.01.31。该文章报告ChatGPT的优缺点，旨在这项研究能够启发未来的工作。具体文章参见https://arxiv.org/pdf/2302.06476.pdf

---

正文

由于该文章主要是实验报告，我们就直接看实验结果即可。

一 ChatGPT与GPT3.5对比

文章提到ChatGPT是在GPT3.5的基础上训练而来，所以在Arithmetic Reasoning、commonsense reasoning、 Symbolic reasoning、Logical reasoning 、Question Answering、Summarization和Sentiment Analysis任务进行对比。ChatGPT的效果在大多数任务优于GPT-3.5，也存在summary和Sentiment 任务表现较差，同时与具体任务微调的模型相比性能较差，与理想的通用模型还有一段距离。

二  在不同任务上与GPT3.5变种（ext-davinci）和其它语言模型对比

任务：

Arithmetic Reasoning、Commonsense, Symbolic, and Logical Reasoning、Question Answering、Natural Language Inference、Dialogue、Named Entity Recognition、Summarization和Sentiment Analysis。

任务输入格式：

数据集

1）Arithmetic Reasoning

结果：ChatGPT优于GPT3.5,但比该任务的模型性能差

2）Commonsense, Symbolic, and Logical Reasoning

结果：ChatGPT优于GPT3.5,但比该任务的模型性能差

3）Natural Language Inference

结果：ChatGPT优于GPT3.5,但比该任务微调的模型性能差。另外Not Entailment性能比GPT3.5差

4）Question Answering

结果：ChatGPT优于GPT3.5,但比该任务的模型性能差

5）Dialogue

结果：ChatGPT优于GPT3.5,但比该任务的模型性能差

6）Summarization

结果：ChatGPT比GPT3.5,差但比该任务的模型性能差

7）Named Entity Recognition

结果：ChatGPT与GPT3.5对不同实体词性能表现不一

8）Sentiment Analysis

结果：ChatGPT差于GPT3.5

9）ChatGPT v.s. Full-Set or Few-Shot Fine-Tuning

总结

作为一个强大的通用模型，ChatGPT 一方面擅长推理和对话任务；另一方面，ChatGPT 在总结和情感分析还不够强大。该研究希望能够启发未来的工作，产出强大的通用语言模型。

这篇好文章是转载于：学新通技术网