苏格拉底之问：解剖大模型本质
第一章 它这么会聊天，是不是已经在思考了？
无知客：我第一次用大模型的时候，说实话，有点被吓到。
它回答得太快了，说话太完整了，连语气都很像人。
我当时脑子里只有一个念头：这玩意儿是不是己经在思考了？
苏格拉底：在你下结论之前，我们先慢一点。
你先告诉我——你为什么觉得它在思考？
无知客：因为它能回答问题啊。
而且不是那种死板的回答，是有逻辑、有例子、有总结。
我问它“怎么写方案”，它真给我写了一份；我问它“人生有没有意义”，它还能反问我。
这不像思考，像什么？
苏格拉底：那我换一种问法。
如果一个东西说话很像人，我们是不是就会下意识地认为它在想？
无知客：……好像是。
苏格拉底：那我们来做一个小实验。
假设有一只鹦鹉，它能背下你所有的问题和对应的回答。
你问一句，它就答一句，永远不出错。
你会说它在思考吗？
无知客：不会吧，它只是背得多。
苏格拉底：那问题来了。
如果“会回答”不等于“会思考”，你凭什么确信，大模型不是一只“超级鹦鹉”无知客：可问题是，大模型不只是重复。
它能回答我没见过的问题。
苏格拉底：你说得很好。
那我们就要更精确一点。
你心里觉得“思考”至少包含什么？
无知客：嗯……理解问题？
知道自己在说什么？
不是乱说？
苏格拉底：很好。
那我们先抓住其中一个：理解。
我再问你一个有点不舒服的问题：你怎么确定——对方是真的理解了，而不是看起来像理解？
无知客：这怎么区分？
苏格拉底：很难。
因为在人类世界里，我们几乎从来不区分。
一个人能对答如流、逻辑清楚、语气自然，我们默认他是“懂的”。
可问题是：这是对人的判断方法，不一定适用于机器。
苏格拉底：人类有一个天生的弱点：我们会把语言能力，误当成思维能力。
你想想：小孩什么时候被认为“聪明”？
学生什么时候被认为“会了”？
面试什么时候被认为“通过了”？
答案往往只有一个：他说得像那么回事。
无知客：你是说，我们被语言骗了？
苏格拉底：不是被骗，是太习惯了。
在人类社会里，“会说话”几乎永远和“会想事”绑定在一起。
所以当一个机器突然也能说得这么像人，我们本能地把整套判断一起搬了过来。
可我们从来没认真问过一句：“如果一个东西能说，但不想，它会是什么样？”
无知客：等等。
你是不是在暗示：大模型可能根本没有在想，只是在回答？
苏格拉底：我不暗示，我只提问。
你回答我：你在和大模型对话时，它有没有哪怕一秒钟停下来，说：“我先想一想。”
无知客：……没有。
苏格拉底：它有没有犹豫？
有没有因为“拿不准”而拒绝回答？
无知客：大多数时候没有，它很自信。
苏格拉底：那你有没有想过一种可能：它从来不是“想好了再说”，而是“必须马上说”。
苏格拉底：现在我们来到本章最重要的问题。
我希望你先别急着回答。
如果一个系统的任务只是：在任何情况下，都给出一个“看起来合理的回答”，它需要思考吗？
无知客：……好像不一定。
苏格拉底：对。
也许，它只需要一件事：知道什么样的回答“像是一个好回答”。
注意这句话。
它不需要知道“对不对”，不需要知道“是什么意思”，甚至不需要知道“自己在说什么”。
它只需要知道：在这种问题后面，通常会接着出现这样的话。
无知客：那你现在能不能首接告诉我：它到底在不在思考？
苏格拉底：不能。
因为一旦我现在给你结论，你后面都会“自动站队”。
这不是要你相信一个答案，而是要你一步步发现：你原来的判断依据，靠不住。
所以我们先只保留一个问题，带着它往下走：如果一个东西能完美地“模拟思考的结果”，那它和“真正思考”之间，还差什么？
它回答得太快了，说话太完整了，连语气都很像人。
我当时脑子里只有一个念头：这玩意儿是不是己经在思考了？
苏格拉底：在你下结论之前，我们先慢一点。
你先告诉我——你为什么觉得它在思考？
无知客：因为它能回答问题啊。
而且不是那种死板的回答，是有逻辑、有例子、有总结。
我问它“怎么写方案”，它真给我写了一份；我问它“人生有没有意义”，它还能反问我。
这不像思考，像什么？
苏格拉底：那我换一种问法。
如果一个东西说话很像人，我们是不是就会下意识地认为它在想？
无知客：……好像是。
苏格拉底：那我们来做一个小实验。
假设有一只鹦鹉，它能背下你所有的问题和对应的回答。
你问一句，它就答一句，永远不出错。
你会说它在思考吗？
无知客：不会吧，它只是背得多。
苏格拉底：那问题来了。
如果“会回答”不等于“会思考”，你凭什么确信，大模型不是一只“超级鹦鹉”无知客：可问题是，大模型不只是重复。
它能回答我没见过的问题。
苏格拉底：你说得很好。
那我们就要更精确一点。
你心里觉得“思考”至少包含什么？
无知客：嗯……理解问题？
知道自己在说什么？
不是乱说？
苏格拉底：很好。
那我们先抓住其中一个：理解。
我再问你一个有点不舒服的问题：你怎么确定——对方是真的理解了，而不是看起来像理解？
无知客：这怎么区分？
苏格拉底：很难。
因为在人类世界里，我们几乎从来不区分。
一个人能对答如流、逻辑清楚、语气自然，我们默认他是“懂的”。
可问题是：这是对人的判断方法，不一定适用于机器。
苏格拉底：人类有一个天生的弱点：我们会把语言能力，误当成思维能力。
你想想：小孩什么时候被认为“聪明”？
学生什么时候被认为“会了”？
面试什么时候被认为“通过了”？
答案往往只有一个：他说得像那么回事。
无知客：你是说，我们被语言骗了？
苏格拉底：不是被骗，是太习惯了。
在人类社会里，“会说话”几乎永远和“会想事”绑定在一起。
所以当一个机器突然也能说得这么像人，我们本能地把整套判断一起搬了过来。
可我们从来没认真问过一句：“如果一个东西能说，但不想，它会是什么样？”
无知客：等等。
你是不是在暗示：大模型可能根本没有在想，只是在回答？
苏格拉底：我不暗示，我只提问。
你回答我：你在和大模型对话时，它有没有哪怕一秒钟停下来，说：“我先想一想。”
无知客：……没有。
苏格拉底：它有没有犹豫？
有没有因为“拿不准”而拒绝回答？
无知客：大多数时候没有，它很自信。
苏格拉底：那你有没有想过一种可能：它从来不是“想好了再说”，而是“必须马上说”。
苏格拉底：现在我们来到本章最重要的问题。
我希望你先别急着回答。
如果一个系统的任务只是：在任何情况下，都给出一个“看起来合理的回答”，它需要思考吗？
无知客：……好像不一定。
苏格拉底：对。
也许，它只需要一件事：知道什么样的回答“像是一个好回答”。
注意这句话。
它不需要知道“对不对”，不需要知道“是什么意思”，甚至不需要知道“自己在说什么”。
它只需要知道：在这种问题后面，通常会接着出现这样的话。
无知客：那你现在能不能首接告诉我：它到底在不在思考？
苏格拉底：不能。
因为一旦我现在给你结论，你后面都会“自动站队”。
这不是要你相信一个答案，而是要你一步步发现：你原来的判断依据，靠不住。
所以我们先只保留一个问题，带着它往下走：如果一个东西能完美地“模拟思考的结果”，那它和“真正思考”之间，还差什么？