No.17 杰弗瑞·辛顿的故事：用“深度学习”赋予“机器之心”的人

一位名叫杰弗瑞·辛顿的科学家，在76岁时获得了2024年诺贝尔物理学奖：每一个栩栩生辉的光环下都有一段艰难的往事，如今35岁就会被认为是一个年龄门槛，谁又能想到这位科学家在60岁时还坐着冷板凳。七十年人工智能发展之路，杰弗瑞·辛顿参与大半……这一期，我们用3个小时的时间，和大家分享深度学习的发展之路，还有辛顿和他的学生们的趣闻轶事。
如果你想了解：什么是深度学习？什么是神经网络？各种模型名词到底是什么意思？今天无处不在的人工智能科技，在最初是什么样子？本期播客也非常适合服用。

【时间轴】
1:13 一个用珠穆朗玛做中间名的神奇家族：Hinton
11:38 从生理学到心理学，我只想搞清楚大脑是如何工作的
18:18 我曾经想当一名木匠
23:16 人工智能一开始就分“算派”和“猜派”
25:45 让“神经网络”陷入停滞的魔鬼——明斯基
33:49 “符号主义”的春天：最早的Minecraft
38:48 人工智能的第一个黄金时代——爬上树梢去抓月亮
51:19 毕业就“失业”的辛顿赴美打工
54:47 被重复发明的雷神之锤“反相传播”
58:53 人工智能的第二个黄金时代——大力出奇迹的专家系统
1:07:15 填鸭式教育的爆肝系统，需要300年才能成功？
1:12:00 【小课堂】通俗地讲一讲辛顿的杀手锏——玻尔兹曼机
1:24:43 入职卡内基梅隆的计算机系，但“我不懂计算机”
1:24:14 【小课堂】通俗地讲一讲什么是反向传播（以及梯度下降？）
1:36:58 最早的自动驾驶是一台悍马车
1:40:26 不要金主爸爸（美国国防部）的钱，辛顿离开美国去加拿大
1:43:38 法国胖子杨立昆（Yann André Le Cun）何许人也？
1:50:27 杨立昆和他的LeNet：计算机第一次识别手写字体！
1:57:46 国际象棋的深蓝和围棋的Alpha Go，有什么不同？
2:06:56 神经网络这名不行，咱换个帅气的新名字：深度学习
2:09:35 纳尼？2个星期的训练相当于微软10年语音识别开发
2:18:08 谷歌e史上最老实习生——64岁的辛顿
2:22:06 大爽文：AlexNet的故事，万事俱备，我们就差一个程序员了...…
2:34:23 【小课堂】通俗地讲一讲“支持向量机”
2:39:20 这公司就仨人，但卖了4400万美金
2:42:38 谷歌收购Deepmind：辛顿躺在湾流飞机上，被运到伦敦
2:47:20 【OpenAI小传】我自豪我的学生开除了萨姆·阿尔特曼
2:51:53 未来如何才能不被AI代替？辛顿说你只能学修水管
3:00:35 糟糕，将来可能是机器人做我的老板？不，还有比这更糟的事
【提到的人物和资料】

▲ 深度学习人物关系图谱

▲ 乔治·布尔 （1815年11月2日-1864年12月8日）是一位主要自学成才的英国数学家、哲学家和逻辑学家，也是辛顿的曾祖父的岳父

▲ 辛顿的先祖之一：Sir George Everest(1800-1855)。这位先祖赋予了辛顿的中间名Everest（辛顿全名是Geoffrey Everest Hinton）

▲ 辛顿家族的族谱

▲ 辛顿就读的高中——克利夫顿学院，每年都有20 名以上学生升入牛津、剑桥大学，一共出了4位诺贝尔奖获得者

▲ 罗森布拉德和感知机

▲ 年轻的辛顿（右边这位白衣年轻人。请记住这张帅气年轻的脸，后面可以对比看沧桑变化……）

▲ 特里·威诺格拉德和他的SHRDLU项目

▲ 明斯基的《感知机》图书封面

▲ 上世纪60年代的 Shakey the robot 摇动机器人，有一个巨大的摄像机，平时不能开机，因为太费电了

▲ 第一台个国际象棋游戏，Microchess 程序写在磁带里，通过数字显示人机对战，你需要自己准备棋盘

▲人类大脑不通的区域对信息做不通的处理

▲ 1989年，杨立昆演示他的LeNet可以识别手写字体

▲ LeNet1 的多层神经网络结构

▲ 上世纪90年代末在卡内基梅隆研发中的ALVINN自动驾驶项目（那辆悍马车……）

▲ 杰弗里·辛顿（Geoffrey Hinton）、 伊利亚·苏茨克韦尔（Ilya Sutskever ，站在左侧面向镜头露齿笑，头发茂密）和亚历克斯·克里热夫斯基（Alex Krizhevsky，代码高手，靠着站在白板旁）

▲ 2018年获得图灵奖的三位大佬。自左至右分别为：约书亚·本吉奥Yoshua Bengio、杰弗里·辛顿Geoffrey Hinton 和 杨立昆Yann André Le Cun

▲2019年，当辛顿得知自己的了图灵奖的时候，他很少见的发了一个推文“X 因素：在我剑桥大学国王学院读本科时，2010 年图灵奖得主 Les Valiant 就住在 X 楼梯的隔壁房间。他告诉我，图灵在担任国王学院研究员时也住在 X 楼梯，甚至可能就在那间房里写下了他 1936 年的著名论文！”

▲ 2023年10月，李飞飞（中间坐着的这位女士）和辛顿（右）在做访谈。因为腰部有伤，所以辛顿只能站着（在多伦多大学，他只能躺着给学生上课）

▲ 1996 年 2 月 11 日，国际象棋卫冕世界冠军加里·卡斯帕罗夫（左）在费城举行的六场比赛中的第二场比赛中，与 IBM 的深蓝队展开了一场较量。为IBM 深蓝移动棋子的是Feng-hsiung Hsu（许峰雄），他是深蓝国际象棋机的架构师和首席设计师

▲2016年，Alpha Go（俗称阿尔法狗）与李世石的人机大战

▲ 智利的赛博协同控制工程（Cybersyn Project）的控制室。（这项计划始于1971年，由当时的总统萨尔瓦多·阿连德发起，由英国控制论专家斯塔福德·比尔Stafford Beer参与指导建设。在1973年智利军方发生政变，阿连德总统被杀，本次计划也随之结束）

▲ 2024年10月，2024 年诺贝尔物理学奖授予了辛顿和另一位学者约翰·霍普菲尔德 （John Hopfield），“以表彰他们利用人工神经网络进行机器学习的奠基性发现和发明”。获奖后，辛顿在接受电话采访时表示：“我没有想到（I have no idea that will happen）。”

▲ 辛顿获得诺贝尔奖后在Google参加庆祝活动（他头发花白，略显憔悴）。现场照里还可以看到Google最牛的工程师杰夫·迪恩（右2），和OpenAI前首席技术官伊利亚·苏茨克韦尔（最右，辛顿的学生，头发明显变少了……）

【本期主播】
剑锋，寒芽

【参考书籍】
《深度学习革命》
《深度学习》
《科学之路》
《A Brief History of Artificial Intelligence 》
《A Brief History of Artificial Intelligence Unraveling the Threads of Machine Intelligence 》
《How AI Ate the World A Brief History of Artificial Intelligence - And Its Long Future 》
《The Booles and the Hintons Two Dynasties That Helped Shape the Modern World 》
《Architects of Intelligence_ The truth about AI 》
《Genius Makers The Mavericks Who Brought AI to Google, Facebook, and the World》

【音乐】
New Order - Blue Monday