乐鱼平台

网易乐鱼平台 > > 正文

陶哲轩捅破AI窗户纸:千亿模型就靠两样老数学,高中底子够用

0
分享至

ChatGPT每次回答你一个问题,背后要烧掉的电,够一个普通家庭用上大半天。

可陶哲轩偏说,这玩意儿底层的数学,高中课本里都写过。

不是玩笑。这位菲尔兹奖得主把大模型拆了个底朝天,结论就一句话:核心只有两样东西——微积分,矩阵乘法。

先别急着关页面。你可能觉得数学离你很远,但今天这篇,是让你以后再看到“AI黑箱”“神经网络玄学”这种词时,心里能稳如老狗。

咱们把这事儿聊透。



模型训练,说白了就跟你教小孩认猫认狗一个道理。

第一次它把猫认成了狗,你怎么办?你会说“错了,这是猫”。模型也一样,它算出一个答案后,会跟自己比对——差了多少,错在哪儿。

微积分在这时候登场了。它的作用就一个:算出来每个参数对这次错误“贡献”了多少。

打个比方,你有一千个旋钮,模型答错了题。微积分帮你算出,第三个旋钮往左拧半圈、第七个旋钮往右拧一圈,下次答对的概率最高。这个过程叫梯度下降,名字听着唬人,其实就是下山找最低点——哪儿坡最陡就往哪儿走,走到谷底就停。



那矩阵乘法呢?更直白。

你把模型想象成一个巨大的Excel表格,里面密密麻麻全是数字。你输入一句话,也变成一行数字。两个表格一乘,出来新的数字,再往下一层乘,一层一层叠上去,最后吐出一个答案。

就这么回事。

你说“苹果手机好用吗”,模型先把这句话转成一串数字向量,跟第一层参数矩阵做乘法,得出中间结果,再乘下一层——重复几十上百次,最后输出“苹果手机在系统和生态方面有优势”。



它为什么知道“苹果”既可能是水果又可能是公司?因为矩阵乘法在计算时,会自动把“苹果”这个词跟周围词的关联度算出来。周围是“手机”“iOS”,它就往科技方向靠;周围是“甜”“好吃”,它就往水果方向走。

注意力机制听起来高级,拆开看,也就是两个矩阵相乘,算词跟词之间的关联权重,再加权求和。

到这里你可能会问:就这?那为什么大模型这么难搞?

答案不在数学,在规模。



一个千亿参数的大模型,做一次前向计算,矩阵乘法的次数是天文数字。训练它,要把海量数据反复喂进去,每一步都算梯度、调参数,循环几百万次甚至上亿次。

你拿纸笔也能模拟一个小模型。三层矩阵,手动调参,跑一个玩具版聊天机器人出来,一个周末足够。但要让它在真实场景里好用,参数量、数据量、算力,三个量都得往上堆。堆到一定程度,效果就自然涌现出来了。

这不是数学的胜利,是工程的胜利。

所以那些把AI说得神乎其神的科普,要么是没搞懂,要么是故意让你觉得“你不配懂”。



陶哲轩的意思很明白:底子就这点东西。微积分管优化,矩阵乘法管计算,两样配合,一个负责调方向,一个负责出结果。模型卡住了学不动,是微积分在找原因;模型能说话能写文章,是矩阵乘法在硬算。

你真正该关心的,不是它背后有没有魔法,而是它这么算,什么时候会犯错、为什么会犯错。

看完这些,再有人跟你说“只有博士才能搞懂AI”,你可以告诉他:原理层面,高中底子够用了。复杂的是规模,是数据量,是算力成本——但这些是钱和时间的问题,不是智商的问题。

想上手试试?装个Python,跑几个矩阵乘法,写个简单的梯度下降调参demo,一个下午你就能看到模型从瞎猜变成猜得有点准。

那一刻你大概会跟我一样,觉得所谓的人工智能,其实挺实在的。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天生没手没脚,父母让他自生自灭,他却靠自己娶妻生子靠嘴养家

天生没手没脚,父母让他自生自灭,他却靠自己娶妻生子靠嘴养家

小武侃风云
2026-10-23 18:43:36
贵州18岁女孩“王水仙”去世,姐妹5个她纹花臂,死因曝光太可惜

贵州18岁女孩“王水仙”去世,姐妹5个她纹花臂,死因曝光太可惜

悦君兮君不知
2026-10-23 21:06:15
看到韩媒公布的数据,我才明白,原来中国的强大早已超乎世界想象

看到韩媒公布的数据,我才明白,原来中国的强大早已超乎世界想象

如果你会喜欢上第二个人
2026-10-24 08:59:13
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
现在最懵的人应该就是王曼昱了,她估计怎么都想不到,十三年前签的那份省队协议,如今还真换来一张记大功公示。

现在最懵的人应该就是王曼昱了,她估计怎么都想不到,十三年前签的那份省队协议,如今还真换来一张记大功公示。

乒乓乐园
2026-10-24 06:04:53
5年了,回看李子柒的院子,才发现,所谓的农村世外桃源根本“不存在”!

5年了,回看李子柒的院子,才发现,所谓的农村世外桃源根本“不存在”!

巢客HOME
2026-08-14 06:00:10
但凡前一天涨停,第二天就大幅调整的股票,尾盘都会出现这些信号

但凡前一天涨停,第二天就大幅调整的股票,尾盘都会出现这些信号

股经纵横谈
2026-09-08 21:58:33
C罗走后皇马又拿两座欧冠,他自己却再没进过四强,是C罗没了皇马不行吗?

C罗走后皇马又拿两座欧冠,他自己却再没进过四强,是C罗没了皇马不行吗?

篮球圈里的那些事
2026-10-24 12:16:15
Goal:梅西正准备尽快返回美国,是否出席金球奖未定

Goal:梅西正准备尽快返回美国,是否出席金球奖未定

懂球帝
2026-10-24 07:19:11
海外“精日”留学生遣返回国,南京警方核查,公费来源疑点重重

海外“精日”留学生遣返回国,南京警方核查,公费来源疑点重重

旧史新谭
2026-10-23 09:20:38
前国手怒批黄友政:最后2分不拧肯定输!太保守不敢下手 甩锅给陈熠

前国手怒批黄友政:最后2分不拧肯定输!太保守不敢下手 甩锅给陈熠

念洲
2026-10-24 11:25:49
新中国有两次机会,毛主席都拒绝了,到今天我们才懂这么做的原因

新中国有两次机会,毛主席都拒绝了,到今天我们才懂这么做的原因

乐趣纪史
2026-10-13 15:36:14
11场3球5助 身价1亿!皇马将续约居莱尔至2032年 即将官宣

11场3球5助 身价1亿!皇马将续约居莱尔至2032年 即将官宣

叶青足球世界
2026-10-23 09:50:55
洋相百出、脑袋空空?这次杨澜和孙俪的访谈,给流量明星上了一课

洋相百出、脑袋空空?这次杨澜和孙俪的访谈,给流量明星上了一课

空樽对月花独瘦
2026-10-23 05:28:53
这是什么强盗逻辑!相恋六年同居三年,男友月薪1万8每月上交1万2,临近结婚竟让她拿出20万当彩礼,女生直呼:用我的钱娶我自己?

这是什么强盗逻辑!相恋六年同居三年,男友月薪1万8每月上交1万2,临近结婚竟让她拿出20万当彩礼,女生直呼:用我的钱娶我自己?

火山詩话
2026-10-24 07:40:51
皇马中场新核:居莱尔隐形齿轮价值解析

皇马中场新核:居莱尔隐形齿轮价值解析

带你逛体坛
2026-10-24 12:42:38
孙颖莎未明确反对饭圈,贺晓龙做出解读,认为她和樊振东有点区别

孙颖莎未明确反对饭圈,贺晓龙做出解读,认为她和樊振东有点区别

悦君兮君不知
2026-10-23 10:01:15
41岁C罗获评8.1分:狮子甩头破门,现场视角还原,太丝滑了

41岁C罗获评8.1分:狮子甩头破门,现场视角还原,太丝滑了

侧身凌空斩
2026-10-23 23:25:31
兔娘线下真实照片被公布,本人看完破防,直言以后要少参加线下活动

兔娘线下真实照片被公布,本人看完破防,直言以后要少参加线下活动

新游戏大妹子
2026-10-20 12:59:38
张宇辰豪华团队曝光!NBA级别训练师 留洋路走对了?

张宇辰豪华团队曝光!NBA级别训练师 留洋路走对了?

晚雾空青
2026-10-24 00:04:11
2026-10-24 13:03:00
呼呼历史论
呼呼历史论
分享有趣的历史
784文章数 18483关注度
往期回顾 全部

写程序、做3D,新Kimi还有多少本事?

媒体:法国爆发暴力抗议活动 中国或被指认为主要原因

媒体:法国爆发暴力抗议活动 中国或被指认为主要原因

从乐透秀到总冠军再到没工作 一共要几年?

一家人就林依轮一个中国人 其余全外国

叫"保障"不叫"保险":租车平台的文字游戏

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

今年秋冬最流行的4件外套,配“连帽卫衣”太时髦了!

痘痘能根治吗?皮肤科医生说实话

致敬经典!苹果网页端上线复古iPod彩蛋,庆祝其诞生25周年

无障碍浏览 进入关怀版