第二节 人工智能与分布式算力

一、AI需要算什么

人类在使用大脑进行思考与计算时，所依赖的是蛋白质、盐分、水分之间的反应与反应所产生的化学递质与电流的传递。由有机物所构成的细胞结构构成了我们的大脑与身体的其他各类器官，也就是在协作中实现了对世界的认知、思考与改变、创造。因此我们将大脑的计算，这种基于碳元素所构成的有机物作为基础的计算称为碳基计算。而电子计算机，从真空管到晶体管，再进一步发展为当前微小化蚀刻在硅晶圆上的集成电路，这些元器件成为了电子计算机进行计算的基础单位，而硅基芯片成为了小至儿童手表，大至“太湖神威之光”这样的超级计算机进行计算的基础单位，因此我们称其为硅基计算。

所谓人工智能，说明了我们对于电子计算机的期待与对正常智人一样，具有类似的能力。因此一般将人工智能定义为拥有以下六个领域能力的电子计算机。

●自然语言处理：交流能力。

●知识表示：信息存储与再展现。

●自动推理：基于存储信息的问题解释与回答。

●机器学习：通过过往历史对新情况做出反应。

●计算机视觉：对外部世界的感知。

●机器人化：对外部世界的改变。

以上六个领域对于人工智能来说，都需要通过计算来完成，而人工智能的计算则依赖于不断精密化的芯片、高效的电路设计，以及持续的能源输入。当然计算的标的则是大量的数据，通过对数据的分析与学习提升人工智能的处理效率。而近年来，人工智能获得一个阶段性跃升发展的原因就在于互联网的发展累积了大量的数据资源，Facebook每天会收到超过3.5亿张图片，沃尔玛每小时产生2.5PB的用户数据，YouTube每分钟都会有超过300个小时的视频上传，这些数据资源都为人工智能的深度学习优化提供了源源不断的支撑。相对地，面对如此大量的数据做优化学习，同样大量且持续的计算能力成为了人工智能持续进化的基础动力。

二、算力的来源

据谷歌统计，一次从视频片段中对于人和猫之间完成准确的图像识别，需要不少于1.6万个处理器的参与。而图像识别在人工智能的机器学习领域所使用的网络架构被称为卷积神经网络（CNN）。同样，在音频学习与处理上的机器学习使用的则是循环神经网络（RNN），相对简单的数据学习与预测则使用人工神经网络（ANN）。由于神经网络在训练学习过程中的运算需要同步多线程的运算能力，而传统的CPU则擅长处理序列化的指令，因此在面对神经网络算法时，原本就被设计为同步多线程处理的GPU芯片成了算力来源的首要选择。从内核数量上来做对比，英伟达的最新GPU包含3584个内核，而最新的Intel CPU则仅有28个内核，因此GPU成为了人工智能时代的芯片模式宠儿。Google甚至还研发了专用的深度学习芯片——张量处理器（TPU-Tensor Processing Unit），对于深度学习具有更高的效能（每瓦输出的计算能力）。

人脑中包含了几十亿个神经元，互相之间通过突触的连接来相互传递信息。而人工智能的目标，就在于能够实现人类相似的分析、联想、记忆与逻辑推理，因此计算科学、神经科学、脑科学与认知科学的结合，造就了人工神经网络这一发展方向。通过在计算机中以线性加权及函数映射的方式来模拟神经细胞接受周围细胞刺激所产生的信号输出过程，而通过优化学习算法来实现网络结构和加权值的调整，这种方式逐渐使得计算机实现了部分人脑的学习与工作机能。《纽约时报》曾在2012年报道了Google Brain的项目，通过在16 000个CPU上进行分布式并行计算，从而构建了一个类脑的深度神经网络学习模型，而这也就是后期AlphaGo九段的基础雏形。而这个项目的推进也进一步让Google意识到了超越CPU的专用化芯片的重要性，TPU计划也就应运而生。

实际上，分布式并行计算并非仅在人工智能的神经网络领域中使用，在视频处理领域的分布式并行计算相较于串行计算，由于在同一时间内的计算能力强，因此能够非常好地服务于图像增强算法，从而提升图像或视频的分辨率。实际上图像识别技术中的人工智能深度学习所使用的基础架构，也同样来自分布式并行计算对视频图像处理的研究积累。

并行计算相较于串行计算来说，可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，我们所使用的多线程处理器就属于在时间上实现了并行，而空间上的并行则是指用多个处理器并发地执行计算，也就是核心数的增加。并行计算的目的就是提供单处理器无法提供的性能（处理器能力或存储器），使用多处理器求解单个问题。分布式计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。并行计算和分布式计算两者是密切相关、相辅相成的，分布式并行计算必然会越来越普遍，逐渐发展成主流的计算模式并取代集中式的大型计算机。其主要优势在于：

●具有比集中式系统更好的性能价格比。可以用很低的成本获得高