柳传志宣布卸任联想控股董事长他给自己打98分

柳传志宣布卸任联想控股董事长

40岁创业 75岁退休 他给自己打98分

从这一年起,联想开启了国际化之路。2005年,联想同时在美国纽约设立总部,在中国北京和美国北卡罗来纳州的罗利设立两个运营中心,通过联想自己的销售机构、联想业务合作伙伴以及与IBM的联盟,新联想的销售网络遍及全世界。美国IBM前高级副总裁兼IBM个人系统事业部总经理史蒂夫·沃德则为联想首席执行官及董事会董事。

1997年,是联想成立10周年的日子。这一年,联想PC在中国市场的占有率首次位列榜首;这一年,北京联想与香港联想合并,柳传志出任联想集团主席。

图 8:将机器学习用于意识&将意识用于机器学习——(1)形式化定义并测试特定的意识的假设函数(2)揭开意识的神秘面纱(3)从计算和统计的角度(例如,系统的泛化)理解意识演化的优势(4)将这些优势应用于学习智能体。

图 4:(左图)二分图 St=(G,C,E,V)有 n=3 个变量和 m=2 个常量。(右图)用于将策略πθ(a|st)参数化的二分图 GCNN 架构。

联想的眼界不局限于国内第一,而是看准了海外。2004年12月8日,柳传志与杨元庆一起来到位于北四环的五洲大酒店,向全世界发布这个消息——联想并购IBM全球PC业务。

图 2:测试准确率于批处理大小、学习率的诶关系。第四行分别是(1)使用 CIFAR-10 数据集训练的 ResNet-110 模型(2)使用 CIFAR-100 数据集训练的 ResNet-110 模型(3)使用 CIFAR-10 数据集训练的 VGG-19 模型(4)使用 CIFAR-100 数据集训练的 VGG-19 模型。每条曲线都是根据 20 个网络的情况综合绘制而出。

NeurIPS 上的这一趋势与我观察到的现象不谋而合:很多人工智能界的研究人员正转而研究神经科学。他们把神经科学重新带回了机器学习领域。

另一方面,在oneAPI当中,英特尔还融合了多种库,旨在加速以行业领域为中心的主要功能,包含了数学库、ML通信库、视频处理库等。受到人工智能趋势的影响,oneAPI中也包含了可面向所有开发人员的AI基础套件。此外,英特尔还提供了优化的AI框架包,包含了TensorFlow、PyTorch等AI框架的工具套件。这些库和框架都可以支持CPU、GPU、FPGA等多种计算架构。

1990年,联想自有品牌微机在德国汉诺威电子技术交易会上取得成功,最终获得国家认可,取得PC生产许可证。那一年,“联想”牌微机终于得以在国内市场推出。

1. 我们需要理解人类学习的机制,从而教导机器进行学习。

关于未来oneAPI生态的构建,英特尔相关人士表示,公司将不仅继续与上下游合作伙伴之间展开合作,也会将oneAPI纳入到与高校的合作当中。在英特尔看来,目前,众多高校已经开设了C++相关课程,oneAPI中的专用开发语言以C++为基础,适合相关专业的学生的继续学习和发展。其次,现在产教之间的融合越来越紧密,许多高校已经开展了异构方面的研究,oneAPI会帮助他们更快地从理论过渡到实践。但目前oneAPI推出的仅是测试版本,英特尔还在寻找更合适的内容去对接高校的资源。

帮企业市值增加8000亿

NTK 的观点还认为,神经网络只会像核方法一样泛化,但根据我们的经验来看,它们可以更好地泛化。

一、 解构深度学习的黑盒

Stephen Boyd 和 j. Zico Kolter 的实验室也展示了他们的论文「Differentiable Convex Optimization Layers」,该论文说明了如何通过凸优化问题的解来进行微分,这使得将它们可以被嵌入可微分的程序(如神经网络)并根据数据进行学习。

现联想控股执行董事、高级副总裁、首席财务官宁旻接任董事长,并任提名委员会及战略委员会主席。公司高级副总裁李蓬出任首席执行官(CEO),自2019年12月31日结束后生效。

尽管这些理论分析非常吸引人,也很重要,但是很难讲它们聚合成一个大的研究体系,因为这其中的一个研究都集中在整个系统的一个较为狭窄的方面。

下面,我们列出本届 NeurIPS 上一些基于 NTK 构建的论文:

对英特尔内部来看,与oneAPI功能重叠的产品,最终都将统一到oneAPI中去。此外,关于oneAPI正式版本的推出时间,英特尔官方也给出了将于明年第四季面市的消息。从正式版本的推出时间来看,不难让我们联想到英特尔的GPU也将于明年推出的消息。伴随着明年英特尔GPU的推出,并结合英特尔在今年以来在FPGA领域的进展,英特尔也将拥有最完整的硬件平台。同时,在EMIB技术的加持下,使得英特尔在异构计算的硬件上更具优势。而伴随着跨架构统一软件平台oneAPI的推出,无疑将会加速英特尔在异构方面的发展。

2. 科学研究应该是一个从假设到实验的过程,而如今的人工智能研究则往往是先做实验然后证明结果成立。

从语言到库的构成上,不难看出oneAPI正在对跨架构平台的软件进行整合,以实现统一。

目前最流行的图神经网络是图卷积神经网络(GCNN),这是意料之中的,因为图和卷积都可以编码局部的信息。卷积以寻找输入中邻近部分之间的关系为目标编码一种偏置。而图通过边对输入中关系最密切的部分进行编码。

这些年,柳传志负责的联想控股主要做“投资”工作。2001年,朱立南率领一群制造业出身的联想人投身风险投资,创建联想投资(后更名为君联资本),成为联想控股进入投资领域的先头部队。2003年,弘毅投资成立,联想控股在投资领域,又开辟了私募股权投资(PE)的业务。2008年,联想之星开启,如今是“天使投资+深度孵化”的特色模式。

图也可以表征神经网络的输出。正如 Yoshua Bengio 在他的演讲中提醒人们的那样:任何联合分布都可以通过因子图来表示。

从实际开发应用中看,针对不同的计算架构平台都需要进行单独的软件投资,这些软件投资涉及到了跨平台的语言和库,语言的库的复杂性往往会导致产品开发周期变长。因此,英特尔one-API所要解决的就是在XPU与中间件/框架之间的语言和库不统一的问题。

图 3:贝叶斯学习与深度学习对比

让我们从更宏观的角度看看本届 NeurIPS 大会上的论文都与什么主题相关。首先,我使用 Vennclods 将 1,011 份 NeurIPS 2018 的论文和 1,428 份 NeurIPS 2019 的论文的标题进行了可视化。中间黑色的部分是在这两年都十分常见的论文关键词的列表。 

因此,贝叶斯神经网络是一种自然的集成,它的作用类似于正则化,并且能够防止过拟合。

图 6:用于问题的Hamiltonian 下降(HD)和梯度下降算法的对比情况

图 1:泛化差异和泛化边界随训练集规模变化的情况

Bengio 的演讲将「意识」引入了主流的机器学习词汇体系中。Bengio 提出的「意识」概念的核心是注意力。他将机器注意力机制与我们的大脑选择分配注意力的方式进行了比较:「机器学习可以用来帮助脑科学家更好地理解意识,但我们对意识的理解也可以帮助机器学习发展出更好的能力」。

Arthur Jacot 等人提出了「全连接的神经网络等价于宽度无限时的高斯过程」这一众所周知的概念,能够在函数空间而不是参数空间中研究它们的训练动力学(Training Dynamics)。他们证明了「在人工神经网络参数梯度下降的过程中,网络函数(将输入向量映射到输出向量)遵循关于一种新的核——NTK的函数代价的核梯度」。

one API对英特尔及行业的价值

(除 NeurIPS 论文之外的)推荐阅读材料:

在今年的 NeurIPS 上,研究者们提出了一系列新颖的方法,而不仅仅是在别人的工作上叠加上新的网络层。我感兴趣的三个方向是:贝叶斯学习、图神经网络,以及凸优化。

他呼吁人们研究「一种更通用的、受生物学启发的突触更新规则,它允许使用损失函数和梯度下降法,但并不要求一定要这么做」。

图是适用于许多种数据(例如,社交网络、知识库、游戏的状态)的优雅而自然的表征形式。用于推荐系统的「用户-物品」数据可以被表示为一个二分图,其中一个不相交的集合由用户组成,另一个由物品组成。

在谈及one-API的价值之前,首先要先了解one-API是针对软件开发中的哪一环节进行统一,以及这种统一对现有的工作环境产生的影响。

在这种大环境下,我们很高兴看到探究深度学习背后的理论(深度学习为何有效?它是如何工作的?)的论文的数量迎来了爆炸式增长。

下面是向大家推荐的 GNN 论文:

2000年的誓师大会上,柳传志将两面蔚蓝色大旗分别交给了杨元庆和郭为,联想业务分拆为联想集团和神州数码,分别负责自有品牌业务和代理分销。

“我觉得迄今为止我的人生满意度可以打98分”,柳传志这样评价自己。35年前,40岁的柳传志创办联想公司,如今联想集团、神州数码、联想控股均已上市,联想集团年营收超千亿元。

oneAPI与英特尔其他软件的结合,构成了英特尔的软件体系。软件是英特尔应对未来数据量的爆炸式增长、数据的多样化以及处理方式的多样性所提出的六大技术支柱之一。而这六大技术支柱也是英特尔“以数据为中心”战略转型的重要支撑。以此来看,作为英特尔软件体系中的关键部分,oneAPI将影响着公司转型。

柳传志今年75岁。1984年,时任中国科学院副院长周光召提出“一院两制”,一部分科研人员做基础研究,另外一部分出来办企业,把科研成果转化为产品推向市场。时年40岁的柳传志毫不犹豫,积极响应中科院号召,创办了北京计算机新技术发展公司,这就是联想集团的前身。

多年来,我经常谈到:图论是在机器学习领域最被低估的课题之一。我很高兴有关图的工作在本届 NeurIPS 上大放异彩。

one API的两大核心优势

1、使用贝叶斯原理进行深度学习

从联想集团到联想控股

2、图神经网络(GNN)

传统的神经网络给出的是单点估计——它们使用一组权值针对一个数据点输出一个预测。另一方面,贝叶斯神经网络使用一个关于网络权重的概率分布,并输出该分布中所有权重组合的平均预测值,这与对许多神经网络求平均的效果相同。

柳传志说:“我们的投资实践中,据我粗略统计,其中已上市的企业,今天的市值和刚上市的市值相比较,已经增加了8000亿,营业额增长了5000亿。有些项目也许我们早就退出了,但他们继续在发展,说明总体上这些企业在健康成长。因此,直接投资对国民经济的发展确确实实是有帮助的。”

来自英伟达的工程师小姐姐 Chip Huyen 基于自己的参会体验,较为全面地总结了 NeurIPS 2019 反映的关键研究趋势。

这使得图神经网络能够完美地适应组合优化(例如,旅行商问题、任务调度问题)、身份匹配(在这种问题中 Twitter 用户和 Facebook 的用户是一样的吗?)、推荐系统等任务。

走出体制用20万启动“联想”

神经切线核(NTK,https://arxiv.org/abs/1806.07572)是近年来提出的一个研究方向,旨在理解神经网络的优化和泛化。有关 NTK 的讨论多次出现在本届 NeurIPS 的亮点演讲中,我在 NeurIPS 期间也与其他人多次谈到 NTK。

本届 NeurIPS 上也有几篇论文说明了,传统的神经网络可以具有比 NTK 更好的性能:

1994年,联想成功在香港上市。上市并不意味着联想的成功。实际上,当时联想并未在国内站稳脚跟,而是受制于国外的一众品牌。但联想一方面通过降低融资成本,另一方面降低产品价格、提高电脑质量,在市场上占有了一席之地。

然而,许多人认为 NTK 不能完全解释深度学习。一个神经网络要接近 NTK 状态需要具备学习率小、初始化宽度大、无权值衰减等超参数设置,而在实际训练中并不经常使用这样的设置。

根据 Khan 的说法,深度学习使用的是一种「试错」的方法,我们通过实验看看会得到什么结果,然而贝叶斯原理迫使你事先考虑一个假设(先验)。

三、神经科学 x 机器学习

其实,这已经是柳传志的第三次“退休”。早在14年前,也就是联想收购IBM的2004年,柳传志宣布辞去联想集团董事长的职务。不过5年之后,2009年,由于并购IBM带来的联想经营业绩下滑,柳传志重新“出山”,再度出任联想集团董事长。当年年底,成效初见,联想集团实现了扭亏为盈。两年之后,联想电脑销量稳步增长,成为全球第二大个人电脑生产商。功成身退,柳传志把帅印再度交给杨元庆。2013年,联想集团个人电脑市场份额首次成为全球第一。

英特尔希望通过oneAPI测试版本来完善统一软件平台的搭建,并以生态系统培养为主,推动产业的进步。据了解,截至11月,支持one API的企业和研究机构已经超过30家,包括高性能计算领域的领导者、人工智能领域的创新者、硬件厂商/OEM、独立软件开发商、云服务商、高校等等。

下面是向大家推荐的本届 NeurIPS 上有关贝叶斯深度学习的 3 篇论文:

有些我所熟知的智者纷纷离开了人工智能研究领域,投身工业界或神经科学领域。这是为什么呢?

与常规的深度学习相比,贝叶斯深度学习有两个主要的优势:非确定性估计以及在小数据集上更好的泛化性能。

C++对于软件开发者来说并不陌生,DPC++所融合的SYCL又是什么?SYCL是一个免版税的跨平台抽象层,基于OpenCL的基本概念,可移植性和效率,使得异构处理器的代码可以使用完全标准的“单一来源”风格编写C ++。SYCL支持单一源代码开发,其中C ++模板函数可以包含主机代码和设备代码,以构建使用OpenCL加速的复杂算法,然后在不同类型数据的源代码中重复使用它们。以此来看,DPC++并不是一件全新的语言,这对于软件开发者来说,非常容易切入到oneAPI的项目中去。而为了更易于软件开发者的使用,英特尔在oneAPI beta版本中还插入了compatibility tool,通过此工具可以将之前的语言轻松转换成DPC++。

最近,研究人员对深度学习的局限性进行了大量的反思,以下为几个例子:

Facebook 的人工智能总监表达了对算力达到瓶颈的担忧。人工智能企业不应该仅仅寄希望于通过更大的深度学习系统来不断取得进步。因为「现在,一个实验可能要花费七位数的金钱,但现实情况不会让这一数字增长到九位数或十位数,因为没人负担得起这样的开销」 Yoshua Bengio 认为以 Gary Marcus 为代表的一些人经常指出深度学习的局限性。Bengio 将 Gary Marcus 的观点总结为「你们看,我就说深度学习不行吧」,而 Gary Marcus 则反驳了这种说法。 针对这一趋势,Yann Lecun 谈到:「我不明白,为什么突然之间,我们看到了许多新闻和推特声称人工智能的进步正在放缓,或称深度学习正在碰壁。在过去的五年中,我几乎在每一次演讲上都会指出这两个局限和挑战。所以,认识到这些局限性并不是什么新鲜事。而且,实际上人工智能的发展并没有慢下来」。

当你想要控制一个系统的输出时,凸优化特别有用。例如,SpaceX 公司使用凸优化来发射火箭,BlackRock 公司将它用于交易算法。看到凸优化在深度学习中的应用真的很酷,就像现在的贝叶斯学习一样。

神经网络也使用凸优化的算法进行训练。然而,神经网络重点强调以一种端到端的方式从头进行学习,而凸优化问题的应用则显式地使用领域特定的知识对系统建模。如果能够以凸方法对系统进行显式建模,那么通常所需的数据就会少得多。关于可微凸优化层的工作是将端到端学习和显式建模的优势结合起来的一种方法。

凸优化问题之所以吸引人,是因为它们可以被精确地求解(可以实现 1e-10 的容错率),而且速度很快。它们也不会产生奇怪的或意料之外的输出,而这对于现实世界中的应用是至关重要的。尽管在真实场景中遇到的许多问题是非凸的,但是将它们分解为一系列凸问题可以达到很好的效果。

1984年冬天,中科院计算所投资20万元人民币,柳传志和其他十名科研人员在一间不足20平方米的小平房里创办了联想。11个对企业和市场一无所知的人,坐在几张长条凳上,召开了这间小公司的“成立大会”。彼时,这是中国科学院计算技术研究所的传达室。

与此同时,Yuanzhi Li 等人的论文「Towards Explaining the Regularization Effect of Initial Large Learning Rate in Training Neural Networks」指出:「一个具有较大的初始学习率并使用退火算法训练的双层网络,比使用较小的初始学习率训练的相同的网络具有更好的泛化性能。这是因为学习率较小的模型首先会记忆低噪声、难以拟合的模式,它在较高噪声、易于拟合的情况下的泛化性能比学习率较大的情况下差一些。」

在本届大会上,我最喜欢 Aguera y Arcas 的演讲。他的演讲在理论上非常严谨,但同时也是可行的。他认为通过优化方法不足以获得类似于人类的智力:「优化不是生命体工作的方式,大脑不仅仅是在评估一个函数。它们会发展。它们会自我修正。他们从经验中学习。仅仅通过一个函数并不能包含这些东西」。

12月18日,今年75岁的柳传志正式卸任联想控股董事长。联想控股发布公告宣布,按照既定计划,联想控股董事长、执行董事、联想集团创始人柳传志卸任公司董事长及执行董事,将担任联想控股名誉董事长、资深顾问及董事会战略委员会成员。

“他们硬件方面的业务全是赔钱的,赔钱的原因有点像穿西装卖油条,他们做不了,我们中国人的工资相对比较低,我们做卖油条的我们能赚钱,大概就这个意思。然而,并购IBM全球PC业务这一动议,在当时联想控股的董事会上,并未得到支持。因为大多数人都认为,像联想集团这样一个30亿美元的公司要并购美国一个一百多亿美元的著名的世界级别的大公司是不太可能的,而且也有着非常大的风险。”柳传志说。

「图表征学习」是本届 NeurIPS 上最受欢迎的研讨会。令人惊讶的是,该领域已经取得了如此大的进步。时间回到 2015 年,当我在实习期间开始研究图神经网络时,我没有想到会有如此多的研究人员参与到这个领域中来。

从上述消息来看,英特尔正在全面布局oneAPI项目。英特尔此举对公司本身有什么价值,这种价值对产业又会产生什么影响?

那么,增加深度能让它更有效率吗?他们说明了,在高斯混合模型的最优贝叶斯分类的情况下,这些函数可以用带有单个隐层的神经网络中的 o (exp (n)) 个节点以任意精度近似,而在两层网络中只需要用 o (n) 个节点近似。

此外,作为连接“XPU”与框架的软件平台,oneAPI中的软件将与英特尔之前推出的框架之间形成上下层级的联动。以OpenVINO为例,OpenVINO可以被看做是构建在oneAPI概念之上的一个SDK,其主要功能是面向于视觉计算,可提供各种优化以及深度学习的推理。据英特尔相关人员表示:“如果OpenVINO已经能够满足开发需求,软件开发人员则可以不使用oneAPI。但是,基于某些视频处理对AI推理功能的需求,在前处理、后处理阶段则可能要用oneAPI。”

训练具有数百万参数的贝叶斯神经网络仍然需要非常大的计算开销。要想使网络收敛到一个后验上可能需要花费数周的时间,因此诸如变分推断这样的近似方法越来越流行。本届 NeurIPS 的「概率方法-变分推断」环节共有 10 篇论文与这类变分贝叶斯方法有关。

从整个产业来看,英特尔经过了半个多世纪的积累,已经在半导体行业中占据了相当重要的地位。英特尔作为曾经半导体行业最先进技术的代表,它的战略转型,为业界展示了未来半导体行业的风向。而今,英特尔正在试图突破PC时代所创下的辉煌,进行着以“数据为中心”的战略转型当中,并提出了六大技术支柱。曾经以硬件为豪的巨头,开始强调软件实力的重要性,并试图通过oneAPI来为业界缔造一个可跨架构开发的软件平台。据了解,oneAPI不仅支持英特尔的硬件产品,也将支持其他第三方产品。由此,也不难看出,英特尔的宏伟愿望。

他们还表明,当我们使用梯度下降法训练一个有限层版本的 NTK 时,其性能将收敛到宽度无限的 NTK 上,然后在训练中性能保持不变。

根据 Bengio 的说法,如果我们希望机器学习算法能够泛化到分布之外的样本上,那么受意识启发的方法可能是一种解决方案。

我一直默默推崇 Stephen Boyd 关于凸优化的工作,所以很高兴看到它在 NeurIPS 上越来越受欢迎。在今年的 NeurIPS 上,有 32 篇论文是关于这个主题的。

英特尔对于oneAPI项目的布局早就开始了,而在今年第四季度发布了oneAPI开发者测试版本,即oneAPI beta。该产品产品为开发者提供了全套的开发工具,包括编译器、编程库、分析器等,并把这些工具封装为特定领域的工具包。

根据联想控股的官方介绍,接任柳传志的宁旻1991年加盟联想,曾长期担任联想控股的执委会成员和首席财务官。2012年,宁旻开始担任联想控股高级副总裁兼执行委员会成员;2014年,在联想控股改制为股份有限公司时,宁旻获委任为公司高级副总裁、首席财务官兼董事会秘书;2015年,宁旻被任命为联席公司秘书。李蓬则被联想官方描述为“具有国际化背景的优秀高级管理人才”,加入联想16年。

他们认为一致收敛理论本身并不能解释深度学习的泛化能力。随着数据集的规模增大,泛化差异(Generalization Gap,模型在见过和未见过的数据上的性能差异)的理论界限也会增大,而经验泛化差异则会减小。

在英特尔之前的宣传中得知,在one-API项目当中,英特尔推出了一种基于标准的跨架构语言Data Parallel C++++ (DPC++)。据悉,DPC++支持不同硬件目标的代码复用,是面向特定加速器的自定义调试的跨行业开放式解决方案,也是代替单一架构的专用语言。但DPC++却并不是一种全新的开发语言。据了解,DPC++以C++为基础,融合了Kronos Group的SYCL,可支持数据并行性和异构编程,并包含在一个开放社区流程中开发的语言扩展。

“我觉得迄今为止我的人生满意度可以打98分”,柳传志在一次活动上说。柳传志的人生也获得了国家的认可。2018年12月18日,在庆祝改革开放40周年的活动中,柳传志获得“改革先锋”的称号。

1988年,柳传志在香港建立香港联想,之后,联想积累资金,了解海外市场,进而形成了技术、生产、销售一体化的PC机主板制造业。“1988年开始,我们大概用了两三年的时间,逐渐生产出联想品牌的电脑。但当时卖得并不是很好,一是因为没有品牌,另外质量也不能保证,大概过了一两年,质量才逐渐稳定。”柳传志曾说。

2008年,联想集团以168亿美元的收入进入“世界500强”榜单,这也是国内的民营企业首次进入世界500强。

英特尔在软件方面的全面部署,可以与其硬件之间形成良好的互补。同时,伴随着oneAPI将支持更多的硬件平台的开发,也将吸引更多的合作伙伴加入到英特尔的软件体系中。照此发展,通过oneAPI,英特尔或许可以创造继PC之后的又一神话。

图 7:神经科学是论文接收率最高的类别

在现实世界的应用中,让系统能够进行预测是远远不够的。弄明白每个预测的可靠性是很重要的。例如,对癌症进行预测时,可靠性为 50.1% 和可靠性为 99.9% 时的治疗方案是不同的。在贝叶斯学习中,非确定性估计是一个内在的特质。