串行计算

假设有AB两个任务

A和B两个任务运行在一个CPU线程上，在A任务执行完之前不可以执行B。即，在整个程序的运行过程中，仅存在一个运行上下文，即一个调用栈一个堆。程序会按顺序执行每个指令。

如果要计算的问题、任务很复杂、很大，那么使用串行计算所需的时间就很长

并行计算

概念

并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。

并行计算中的CPU，可以来自同一台计算机;也可以来自同一网络中的不同计算机。

分类

所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。

时间上的并行：是指流水线技术

比如说工厂生产食品的时候步骤分为：

1.清洗：将食品冲洗干净。

2.消毒：将食品进行消毒处理。

3.切割：将食品切成小块。

4.包装：将食品装入包装袋。

如果不采用流水线，一个食品完成上述四个步骤后，下一个食品才进行处理，耗时且影响效率。但是采用流水线技术，就可以同时处理四个食品。这就是并行算法中的时间并行，在同一时间启动两个或两个以上的操作，大大提高计算性能。

空间上的并行

是指多个处理机并发的执行计算，即通过网络将两个以上的处理机连接起来，达到同时计算同一个任务的不同部分，或者单个处理机无法解决的大型问题。

比如小李准备在植树节种三棵树，如果小李1个人需要6个小时才能完成任务，植树节当天他叫来了好朋友小红、小王，三个人同时开始挖坑植树，2个小时后每个人都完成了一颗植树任务，这就是并行算法中的空间并行，将一个大任务分割成多个相同的子任务，来加快问题解决速度。

分布式计算(网格计算和云计算都属于分布式计算)

与集中式计算相对立

分布式计算，是用于研究分布式系统的计算机科学领域。分布式系统是将自己所有的组件分布在不同网络的计算机上。这些计算机通过通以消息机制来配合。工作在不同网络中的计算机通过相互协作来完成一个共同的目标。

分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。

特点

稀有资源可以共享

通过分布式计算可以在多台计算机上平衡计算负载

可以把程序放在较适合运行它的计算机上

其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。