• CPU数，核数，processor数的概念

  • CPU数

    • 独立的中央处理单元，体现在主板上就是有多少个CPU槽位

  • CPU cores

    • 在每一个CPU上，都可能有多核（core）,每个核中都有独立的ALU，FPU，Cache等组件，可以理解为CPU的物理核数。（我们常说4核8线程中的核）

  • processor

    • 每一个物理核可以模拟出多个逻辑核，"超线程"技术就是通过采用特殊的指令，把逻辑内核模拟为物理超线程，这样的核就是processor.是一个处理数据的通道，流水线。可以理解为逻辑核（比如我们常说的4核8线程中的线程）

  • 查看计算机的processor数（虚拟核数）

    • 在linux中使用top 然后输入1，从CPU0到CPUn显示的就是CPU的虚拟核数（processor）

  • 查看物理核数

    • 在linux中输入 cat /proc/cpuinfo 就可以看到CPU cores 和 processor的概念

• 关于进程和线程

  • 进程

    • 是CPU调度和分配的基本单位

  • 线程

    • 是操作系统进行资源（包括CPU，内存，磁盘IO）分配的最小单位

  • 关系

    • 打开微信，浏览器都是一个进程，一个进程中可能有多个子任务，比如微信接受信息，发送信息，这些子任务都是线程
    • 进程之间无法共享资源，进行通信。但是线程之间可以通信，共享进程的资源
    • 开启一个进程，就是打来一个软件，消耗的资源多。但是线程相较进程就会节省很多资源。

  • 线程之间的切换

    • 分时
      • 将时间平均分配，各个线程之间轮流使用
    • 抢占
      • 优先级高的线程抢到资源的概率大

  • 线程开销

    • 上下文切换，保存当前线程的执行环境，并恢复要执行线程的环境。

    • 线程创建和消亡的开销

    • 线程需要保存维持线程本地栈，会消耗内存

    • 当线程多到一定的程度时，就会拖慢系统性能，因为多线程的切换需要资源。所以在线程数应该在性能瓶颈的90%。

• 多核下线程数量的选择

  • Master-worker模式

    • 针对多任务，我们通常采用Master-worker模型。Master负责分配任务，worker负责执行任务。如果Worker挂掉，就要Master负责重新调度。Hadoop集群即使这样NameNode管理DataNode.这是由线程切换到节点。

- 计算密集型

    - 程序主要是复杂的逻辑判断和复杂的运算。比如我们常见的机器学习之类的。
    - CPU利用里高，不应开太多的线程。因为线程太多会因为线程的上下文切换浪费资源。
    - 计算密集型的任务同时进行的数量应当等于CPU的核心数（processo数，虚拟内核也算）

- IO密集型

    - 程序主要是IO操作，比如磁盘IO和网络IO。比如Hadoop的MR。

    - 因为IO操作会阻塞线程，CPU大量的时间在等待IO操作的完成，因此CPU的利用率不高，可以多开线程，当IO阻塞时就切换到其他就绪的线程，提高CPU的利用率

    - 如果磁盘IO的性能超过了总线的能力，此时的瓶颈就是IO而不再是CPU，线程开的多也没有意义。因为总线被打满了，数据过不来。

• 关于VMware虚拟机CPU核数的设置

  • 机器设置：E5-2660 V2 两颗，每颗10核，20线程

  • VMware设置界面

    image.png

  • 查看VMware中的各种情况(注意：这里显示的都是ID数，不是个数)

    • CPU个数 cat /proc/cpuinfo | grep "physical id"
    • CPU core cat /proc/cpuinfo | grep "core id"
    • CPU processor cat /proc/cpuinfo | grep "processor"

  • 对比

可见：VMware中的：处理器数量（P）实际代表的是虚拟机的CPU个数

每个处理器的内核数量（C）实际代表的是虚拟机CPU的core

• VMware设置内核数量的最佳实践

  • 虚拟机的CPU数设置应该是小于物理机的数量。处理器数量*****每个处理器内核数量<物理机的processor数量
  • 如果虚拟机的processor数大于物理机的processor数，虚拟机化管理系统首先按照时间片轮流调度一遍，然后如果还有剩余的物理CPU资源，就分给需要计算的虚拟CPU