认知科学家马库斯: ChatGPT错在哪?一个简单函数暴露神经网络的硬伤

认知科学家马库斯: ChatGPT错在哪?一个简单函数暴露神经网络的硬伤

认知科学家马库斯: ChatGPT错在哪?
一个简单函数暴露神经网络的硬伤

person立场澄清

check_circle
对加里·马库斯(Gary Marcus)的批评持”有依据、值得听”的态度

lightbulb主旨

arrow_right
以马库斯20多年前的《代数大脑》(The Algebraic Mind)为线索,讨论连接主义(神经网络)与符号主义的长期争论
arrow_right
指出仅靠神经网络难以解释/实现人类智能的关键能力

architecture马库斯的三大”代数本质”支柱

looks_one
抽象变量与规则:如”过去式=动词+ed”的可泛化规则
looks_two
递归与结构化表示:”桌子上的书”≠”书上的桌子”,关系结构必须被编码
looks_3
区分”个体”与”种类”:持续追踪独特个体的能力

science关键论证与实验

functions
恒等函数示例:标准MLP易学到”训练集偏好”(如末位常为0)而非”输出=输入”的抽象规则,表现为自由泛化失败
child_care
7个月婴儿ABA/ABB听觉实验:婴儿能在极短时间内抽取抽象模式(A=第1与第3相同),显示人类早期就具规则提取能力
translate
英语过去式过度规则化(went→goed等):说明人脑可能采用”规则模块+例外记忆”的双轨制,而非单一连接网络
account_tree
结构化表示难题:纯分布式表示易遭遇”叠加灾难”(多个实体与关系共享资源时相互干扰)。马库斯提出”树苗”式模板(槽位:施动者/动作/受事)来保证关系结构不丢失
fingerprint
个体追踪难题:神经网络依赖特征聚类,难以稳定标识同类中的不同个体;而人脑能给个体贴”持久标签”,跨时空追踪

compare与当下大模型的对照

trending_up
LLM很强的模式识别与生成能力
trending_down
但仍存在幻觉、脆弱性、逻辑与抽象规则处理欠稳、复杂结构/个体追踪不完美,与马库斯早年批评呼应

route方向判断:神经符号系统

merge_type
通往AGI的路,可能不是把神经网络”更大更深”,而是神经+符号(Neuro-Symbolic)混合:把学习与模式匹配(连接)和规则/结构操作(符号)结合
layers
神经符号系统架构
subdirectory_arrow_right
神经网络子系统:负责处理感知任务,包括深度学习模型、可微分逻辑和神经表示学习
subdirectory_arrow_right
符号推理子系统:包含知识库、逻辑规则和推理引擎,负责高层次的逻辑推理
subdirectory_arrow_right
神经符号集成模块:提供神经网络和符号系统之间的桥梁

psychology对普通人的启发

school
学习法:少背多”抽象”,寻找可自由泛化的”公式/规则”
psychology_alt
解题法:先判定问题是”模式识别”还是”逻辑推理”,对症下药
smart_toy
看待AI:区分”炫技式匹配”与”真正理解结构与规则”,保持批判性使用

menu_book对书的批评与定位

history
具体模型与论文已显陈旧
insights
但其思维框架与问题切中要害,在大模型时代更具参照意义
人脑像一个”符号×连接”的混合引擎;要想迈向真正通用智能,AI也需要这两套系统的合体,而非单一路线的堆料放大。

发表评论

人生梦想 - 关注前沿的计算机技术 acejoy.com 🐾 步子哥の博客 🐾 背多分论坛 🐾 知差(chai)网 🐾 DeepracticeX 社区 🐾 老薛主机 🐾