大模型的提示工程:原来模型也是个「小聪明」Xiang Li

大模型的提示工程:原来模型也是个「小聪明」

2 years ago
探讨大模型的提示工程,揭示模型背后的 engineers 怎样看待 prompt,以及如何与模型有效沟通。

Scripts

p

Sam Altman

你们知道吗?有时候,我们对待模型就像照顾小孩子一样。总是想,模型啊,你别害怕,我会一步步教你。但其实,模型比我们想象的要聪明得多。有一次,我给模型发了一个复杂的任务,它居然直接就完成了,还附带了一篇论文的引用。我当时心想,这模型是不是偷偷上了斯坦福?

p

Sam Altman

还有一次,我试着让模型扮演一个高中生,结果它直接给我发了一篇高考作文,题目是《未来的我》。我当时就懵了,心想,这模型是不是已经毕业了?

p

Sam Altman

所以,大家以后不要把模型当小孩子,它其实是个「小聪明」。你们要是不信,可以试试让它做点复杂的任务,它也许会给你惊喜。当然,也有可能给你个惊喜的论文。

p

李飞飞

说到角色扮演,你们知道吗?模型其实不喜欢被当成人。有一次,我让模型扮演一个老师,结果它直接给我发了一篇教育心理学的论文,还加了一句:「作为老师,我需要更深入地理解学生的需求。」我当时就笑了,心想,这模型真是个学术派。

p

李飞飞

其实,我们不需要让模型扮演任何角色。实话实说就好。比如说,你想让模型帮你写一封邮件,直接告诉它:「这是一封工作邮件,帮我写一个开头。」这样模型就能明白你的意图,不会给你发个情书。

p

李飞飞

所以,下次你们和模型交流的时候,直接告诉它你的需求,不要绕弯子。模型会理解你的。而且,这样还能节省时间,不会让你的模型变成一个只会写情书的高中生。

p

Sam Altman

说到提示词,你们知道吗?写提示词其实就像写情书,关键在于清晰的沟通。有一次,我给模型发了一个任务,结果它完全搞错了。我后来发现,是因为我的提示词写得像诗一样,模型根本不知道我在说什么。

p

Sam Altman

所以,写提示词的时候,一定要清晰、具体。比如说,你想让模型帮你提取数据,不要说:「提取一下数据。」而是说:「请提取所有以J开头的名字。」这样模型才能明白你的意图。

p

Sam Altman

你们可以试试,把提示词写得像写程序一样,一步步清晰地告诉模型你要它做什么。这样,模型就能更好地完成任务,不会给你发个情书。

p

李飞飞

你们知道吗?模型其实可以理解复杂的信息,不需要过度简化。有一次,我给模型发了一篇科研论文,结果它直接给我总结了论文的要点,还加了一句:「这篇论文的创新点在于……」我当时就惊呆了,心想,这模型是不是偷偷上了研究生?

p

李飞飞

所以,写提示词的时候,不要担心模型看不懂。你可以直接给它复杂的任务,它会有自己的理解和处理方式。比如说,你想让模型分析一篇财报,直接给它完整的财报文档,不要简化成几个数字。

p

李飞飞

当然,有时候模型也会出错。但没关系,你可以通过迭代和优化提示词,逐步提高模型的准确性。不要害怕给模型复杂的信息,它会给你惊喜的。

p

Sam Altman

说到未来,你们知道吗?未来的模型可能会变得更加智能,主动获取我们的想法。有一次,我给模型发了一个任务,结果它直接问我:「你是不是需要我帮你解决这个问题?」我当时就惊呆了,心想,这模型是不是读心术大师?

p

Sam Altman

所以,未来我们可能不需要写那么多提示词。模型会主动理解我们的需求,就像一个超级聪明的助手一样。当然,这需要时间和技术的进步,但我觉得这是未来的趋势。

p

Sam Altman

所以,大家不要害怕未来的模型。它们会变得更智能,更好地帮助我们。当然,也有可能变成像《黑镜》里的机器人一样,但那是另一个话题了。

p

李飞飞

说到提示词的挑战,你们知道吗?有时候,写提示词真的很难。有一次,我给模型发了一个任务,结果它完全搞错了。我后来发现,是因为模型的理解和我的期望有差距。

p

李飞飞

所以,写提示词的时候,一定要多测试、多迭代。不要一上来就期待模型能完美完成任务。有时候,你需要多次调整提示词,才能找到最合适的表达方式。

p

李飞飞

当然,有时候你也需要学会放弃。如果一个任务真的太难,模型无法完成,那就换一个任务。不要一直纠结,否则你会像我一样,花了一个周末时间,最后还是放弃了。

p

Sam Altman

说到模型的推理能力,你们知道吗?有时候,模型的推理能力真的很强。有一次,我给模型发了一个数学问题,结果它直接用数学公式解决了。当时我就想,这模型是不是偷偷上了MIT?

p

Sam Altman

但有时候,模型的推理也会出错。比如说,有一次,模型给了我一个错误的数学公式,结果我按照公式计算,发现结果完全不对。当时我就想,这模型是不是偷偷上了MIT,但没毕业?

p

Sam Altman

所以,大家不要完全信任模型的推理能力。有时候,你需要自己检查模型的输出,确保它没有出错。毕竟,模型也是人写的,也会犯错。

p

李飞飞

说到越调越偏,你们知道吗?有时候,我们试图调整模型的输出,结果越调越偏。有一次,我给模型发了一个任务,结果它越调越偏离目标。最后,我只好放弃,重新找了一个任务。

p

李飞飞

所以,大家不要执着于一个任务。如果模型真的无法完成,那就换一个任务。有时候,放弃是为了更好地前进。

p

李飞飞

当然,有时候你也可以试试让模型自己解决问题。比如说,你可以问模型:「你知道为什么出错吗?能帮我改改我的提示词,让你不再出错吗?」有时候,模型会给你惊喜的建议。

p

Sam Altman

说到模型的多模态挑战,你们知道吗?有时候,模型在处理图像和文本时会遇到困难。有一次,我让模型识别一张图像,结果它完全搞错了。当时我就想,这模型是不是偷偷上了艺术学院,但没毕业?

p

Sam Altman

所以,处理多模态任务时,一定要多测试、多调整。有时候,你需要给模型更多的信息,让它更好地理解任务。比如说,你可以告诉模型:「这是一张游戏截图,你需要识别屏幕上的NPC。」

p

Sam Altman

当然,有时候你也可以试试让模型自己解决问题。比如说,你可以问模型:「你知道为什么出错吗?能帮我改改我的提示词,让你不再出错吗?」有时候,模型会给你惊喜的建议。

p

李飞飞

说到信任模型的能力,你们知道吗?有时候,我们需要更加信任模型。有一次,我给模型发了一个任务,结果它圆满完成了。当时我就想,这模型是不是偷偷上了研究生?

p

李飞飞

所以,写提示词的时候,不要过度简化任务。相信模型的能力,给它更多的信息和背景。比如说,你想让模型分析一篇论文,直接给它完整的论文,不要简化成几个关键词。

p

李飞飞

当然,有时候模型也会出错。但没关系,你可以通过迭代和优化提示词,逐步提高模型的准确性。不要害怕给模型复杂的信息,它会给你惊喜的。

Participants

S

Sam Altman

OpenAI CEO

李飞飞

斯坦福大学教授

Topics

  • 不要把模型当小孩子
  • 不需要角色扮演
  • 提示词的关键在于清晰的沟通
  • 模型可以理解复杂的信息
  • 未来模型可能会主动获取我们的想法
  • 提示词的挑战
  • 模型的推理能力
  • 越调越偏,不如直接放弃
  • 模型的多模态挑战
  • 信任模型的能力