GPT模型一路打怪升级

至暗时刻里的三个臭皮匠

如今深度学习仰仗的神经网络，最早被提出是在1943年，距今刚好80年。其间，包括冯·诺依曼在内的天才都做过探索，但收效甚微。上世纪80年代，整个科学界已是“符号主义”的天下，“神经网络”的研究已经停滞了近20年，整个人工智能的发展也陷入了寒冬。

符号主义认为，用符号运算和逻辑推理就能让计算机拥有人的智慧。神经网络的支持者则坚信，要参照人类大脑的神经网络让计算机智能起来。

那会儿神经网络的支持者，就像是挡在六大门派前的张无忌。其中的代表人物，就是“深度学习三巨头”。

Geoffrey Hinton，1947年出生，现任谷歌副总裁兼工程研究员。他出生在一个英国学术“豪门”， 父亲是昆虫学家，母亲是教师，叔叔发明了“国民生产总值”（GNP）概念，高祖父发明的布尔代数奠定了现代计算机科学的基础。

然而，直到获得“图灵奖”，Hinton也从未正式上过计算机课程。他学过生理学、物理学、哲学、心理学，却不怎么懂数学、神经科学和计算科学，研究过程中不断要向带的学生来请教。就是这么一个“门外汉”，凭借BP算法、玻尔兹曼机和改进卷积神经网络，不仅自己敲开了计算机最高殿堂的大门，还带着深度学习冲破了黑暗。

“反向传播算法”（BP算法）曾在20世纪80年代末为神经网络的研究注入了一针强心剂。在这一算法的支持下，计算机有了根据给出的参考答案进行“自我纠正”的能力。只是由于算法不完善和计算机算力不足，没能进一步发展。

Yoshua Bengio出生在1964年，和Yann LeCun一样是法国人，现在是加拿大蒙特利尔大学教授。他出生在一个嬉皮士家庭，童年是个典型的书呆子，最好的朋友是兄弟Samy（谷歌大脑联合创始人），以及两人通过卖报赚钱买来的计算机。

区别于另外两个巨头，Bengio绝大部分精力放在学术研究上，和产业保持了一定的距离，相关论文被引用超17万次。

他凭借序列的概率模型、高维词汇嵌入和注意机制以及生成对抗网络（GAN）获得了“图灵奖”。GAN是2014年，Bengio与Ian Goodfellow一同推出的，让计算机学会了“左右互搏”，捅破了机器成长的天花板，为“强化学习”奠定了基础。

两人还和Aaron Courville等人合著了《Deep Learning》（《深度学习》）一书，成了人手一本的“AI圣经”。

然后就是一直以心直口快著称的Yann LeCun，1960年出生，现任Meta首席AI科学家。他对于人工智能的兴趣，是在9岁观看《2001太空漫游》时种下的。现实世界里，他也是第一批让机器“睁眼看世界”的人，只不过看的是支票上的手写字。

这得益于1989年他构建的机器视觉卷积神经网络LeNet。过去10年，卷积神经网络(CNN)已经成为深度学习的基础技术。除了CNN，他比Hinton更早尝试构建BP算法，还拓展了神经网络的视野。

无论是在学术上还是心理上，Hinton都是Bengio和LeCun的领路人。1987年，LeCun短暂加入过Hinton的实验室。而Bengio从本科开始，就站在了Hinton的肩膀上，一路成长为巨人。

Bengio 说Hinton 有“穿透黑暗看清事物”的能力。他在潜心研究神经网络时长期受腰椎疾病困扰，两任妻子先后罹患癌症，但他始终坚信，错的是其他人。如今，Hinton 被誉为“深度学习之父”。

因此不难理解，在以LeCun为代表的科学家眼里，真正的创新对应的是BP算法、GAN、CNN等等，它们才构成了如今深度学习的基石。

• 上一页
• 1
• 2
• 全文阅读