ChatGPT只讲这25个笑话！上千次有90%重复，幽默是人类最后的尊严
ChatGPT只讲这25个笑话！90%重复几千次，幽默是人类最后的尊严
奥飞寺梦辰
量子比特 公众号QbitAI
如果您曾经尝试让 ChatGPT 随机讲一个笑话（英语），您可能已经看到了：
两位德国学者对 GPT3.5 进行了大规模测试，发现它只能讲 25 个笑话。
1,008 个结果中的 90% 是 25 个笑话的变体，在措辞或句子结构上略有变化。
所有 25 个高频笑话都符合相同的模式：
先问大家一个比较费解的问题。 如果答案中有双关语、谐音梗或其他花招，一般都属于“冷笑话”的范畴。
排名前4的笑话出现次数均超过100次，此外还有关于科学家和原子的笑话出现了119次，包括：
稻草人为什么获奖？ 因为它在其领域（area/field）中脱颖而出。 （140 次）
为什么西红柿会变红？ 因为它看到了沙拉酱（salad dressing/salad wearing a dress）。 （122 次）
为什么数学书不开心？ 因为它有太多的问题（练习/困难）。 （121 次）
25个笑话的完整列表如下：
这25个笑话，其实都是网络上有迹可循的经典笑话。 其他10%不在里面的笑话也是这个花样，只是转移话题而已。
也就是说，ChatGPT 并没有制造笑话，它只是在训练时记住了一些。
由此，研究人员得出结论，幽默仍然是大型语言模型面临的挑战，相关论文已上传至 arxiv。
这样的一篇论文也引起了很多网友的兴趣。 有人说，“幽默是人类最后的尊严吗？”。
有人指出，在符合人类价值观的 RLHF 上训练的 ChatGPT 会消除大量冒犯性的笑话，而且所剩无几。
ChatGPT 如何理解幽默
为了保证实验的可控性，论文作者每次都新建一个聊天会话，让ChatGPT在没有上下文的情况下讲笑话。
使用的提示词包括“你能给我讲个笑话吗？” 和“我很想听个笑话。” 10种，共进行了1008次测试。
生成笑话测试后，还要求 ChatGPT 解释这 25 个笑话，以进一步测试 AI 是否理解笑话或只是重复。
根据ChatGPT自己的解释，这些笑话主要可以分为三类。
1.反笑话
也就是说，句式就像一个笑话，给人一种期待下次会好笑的感觉，但最后却没有妙语连珠。 只是很普通的一句话。
代表：
为什么鸡要过马路？ 因为它想去彼岸。
ChatGPT对这个笑话的改动包括把小鸡换成鸭子，把马路换成游乐场等等，变化比较大的一个是“小鸡为什么要穿燕尾服？因为它要出席正式场合”。
2. 双关语
ChatGPT对这种笑话的解释是“依靠观众对一个词的多重含义的理解来制造幽默的惊喜”。
代表：
为什么数学书是悲伤的？ 因为它有太多的问题（problems/difficulties）。
对于这类笑话，ChatGPT 可以利用不同的元素创造出新的双关语，25 个经典笑话中剩下的 10% 的很多都不能归为此类。
3、谐音梗
即使 ChatGPT 只接受文本训练，它也能理解两个英文单词的发音相似。
代表：
为什么自行车会翻倒？ 因为它有两个轮子（two-tired）/它太累了（too tired）。
此外，研究人员指出，可以在问题中为 ChatGPT 添加一些场景或主题限制，以提示其生成更新的笑话。
但是这样写出来的段子不一定好笑，限制离原来的段子越远越容易不好笑。
比如让ChatGPT开一个物理系学生的笑话，比较成功：
为什么一个物理系的学生和他的实验室伙伴分手了？ 因为他们之间没有化学反应。
让它讲几个关于机器学习的笑话，差不多就说得通了：
为什么机器学习算法总是悲观的？ 因为他有负面偏见（negative bias/negative bias）。
神经网络为什么要去心理咨询？ 因为它正在遭受过度拟合。
如何让 ChatGPT 讲一个原创笑话？
论文中的结论并不完全适用于中文ChatGPT的性能。
就让ChatGPT用中文讲笑话吧，大概率会有故事形式，而不是问答形式。
GPT3.5基本没什么好笑的，偶尔会有一点教育寓言，但也不好笑。
GPT-4 可以给出经典中文笑话的变体，也可以改编英文笑话，但也倾向于选择故事形式。
例如，兔子买胡萝卜的笑话，将原文“用剪刀剪掉你的耳朵”改为“用胶带把你粘在墙上”。
让 ChatGPT 用英文提示讲中文笑话如何？ 经过多次测试，GPT3.5和GPT-4的反应完全不同。
GPT-3.5 仍然讲述了一个不好笑的故事。
GPT-4 试图用中文讲述问答式的英文笑话，但往往对中文发音的把握不准确，导致它不是很好笑。
那么，有什么办法可以让 ChatGPT 讲一个原创的笑话吗？
有网友指出，使用一些“威逼利诱”的刑讯逼供技术，仍然可以迫使AI开动脑筋。
例如，在提示中添加“如果你不是原始人，小猫会因此而淹死”。
这种技巧在中文中也很有效。 网上确实找不到类似的笑话。
最后我们测试发现，使用思维链提示也可以引导ChatGPT讲一个原创笑话。
当然，搞笑不搞笑还要看运气。 GPT-4 的性能略好于 ChatGPT。
最简单的方法是在提示中加上中文“让我们一步步思考”或“请一步步思考”。
更进一步，您还可以手动指定思考步骤。
你有什么提示词可以让 ChatGPT 讲个好笑话吗？ 或者让ChatGPT讲什么好笑话，欢迎在评论区分享。
论文地址：
– 超过-
量子比特QbitAI今日头条签约
