Linux性能挖潜的隐藏招数：内核CPU亲和性参数调整
作者：李彬，赵雪枫，金融科技工程师，架构师社区特邀作者！
应用服务性能调优，是每个系统投产前都需要关注的问题，系统及软件层面的调优方法均有大量文章介绍，但在所有招数使出后，是否就无潜可挖了？如果了解Linux内核运行特征，经过简单的配置，仍存在不少可行的方案。本文将介绍的是基于Linux内核CPU亲和性参数调整，榨取最后一丝性能优势的方案。
一、背景知识
CPU是常规应用运行计算的核心，从性能角度至少需要了解物理CPU、逻辑CPU和超线程技术实现。
1. 物理CPU：机器上实际安装的CPU个数。
2. 逻辑CPU：物理CPU会有多个逻辑运算核心，基于Intel的超线程技术（Hyper-Threading），可以在此基础上形成更多核心算力。
3. 超线程技术（Hyper-Threading）：就是利用特殊的硬件指令，把一个CPU核模拟成多个逻辑CPU，形成多核多线程CPU。
综上所述，三者的逻辑关系如下：
逻辑CPU的数量=物理CPU的数量*CPU的核数*2（如果支持并开启了超线程的话）
二、CPU的亲和性参数原理
CPU的亲和性是一种调度属性，它可以将一个进程绑定到一个或者一组CPU上。CPU的亲和性分为两种：软亲和性和硬亲和性。
1）软CPU亲和性就是进程要在指定的CPU上尽量长时间地运行而不被迁移到其他处理器上运行。Linux内核的自身特性，意味着进程通常不会在处理器之间频繁迁移，以避免这种迁移对于计算能力的消耗，以达到最佳的平衡性。
2）Linux内核中还包含了一种硬CPU亲和性的机制，这个机制让开发人员可以实现硬CPU亲和性。这意味着可以显式指定进程在哪个（或哪些）处理器上运行。
在Linux内核中进程数据结构为task_struct，其中与亲和性相关的是cpus_allowed位掩码。这个位掩码由n位组成，与系统中的n个逻辑CPU一一对应。如果为给定的进程设置了给定的位，那么这个进程就可以在相关的CPU上运行了。
以32颗逻辑CPU服务器为例：
0x00000001 处理器0号逻辑CPU可运行
0x00000003 处理器0-1号逻辑CPU可迁移运行
0xFFFFFFFF 处理器0-31号逻辑CPU均可迁移运行（Linux内核缺省状态）
通常Linux内核都可以很好地对进程进行调度，在应该运行的地方运行进程，也就是说，在可用的处理器上运行并获得很好的整体性能。Linux内核中包含了一些用来检测CPU之间任务负载迁移的算法，可以启用进程迁移来降低繁忙的处理器的压力。
三、CPU的亲和性设置
Linux提供了一些方法，可以让用户通过修改位掩码来指定进程只能在某个（或者某些）CPU上运行。一般情况下，在应用程序中只需要使用缺省的调度器行为。然而，有时候我们可能会希望修改这些缺省行为以实现性能的优化。一般来说，我们要使用硬CPU亲和性有3个原因：有大量的计算要做；应用程序复杂；正在运行时间敏感的、决定性的进程。
经过对各种方式的总结，以下通过两个清晰的事例，对CPU亲和性的配置方式进行说明。
1）在应用源码中设置CPU亲和性
硬CPU亲和性的设置可以通过编程来实现，Linux内核提供了一些系统API，如：sched_set_affinity()，sched_get_affinity()，CPU_ZERO()，CPU_SET()等。一个简单设置硬CPU亲和性的例子如下：
#include
#include
#include
#include
int main(void)
{
int i, nrcpus;
cpu_set_t mask;
unsigned long bitmask = 0;
CPU_ZERO(&mask); //清空一个集合
CPU_SET(0, &mask); //将给定的CPU0加入集合
CPU_SET(2, &mask);//将给定的CPU2加入集合
if (sched_setaffinity(0,sizeof(cpu_set_t), &mask) == -1)
{
perror("sched_setaffinity");
exit(-1);
}
return 0;
}
2）通过命令方式设置CPU亲和性
硬CPU亲和性的设置还可以通过taskset命令来设置。taskset的命令格式是：
taskset [options] mask command [arg]…
taskset [options] –p[mask] pid
mask是CPU亲和性
command是可执行程序
arg是command的参数
pid是进程ID
第一个命令是用来设置可执行程序的硬CPU亲和性，第二个命令是用来设置已经运行的进程的硬CPU亲和性。
写在最后
最近在项目中，笔者碰到了系统CPU使用率不稳定的情况，分析了良久，才排查到是CPU亲和性相关的问题。在压力稳定，运算正常无外部瓶颈的情况下，形成一种无法解释的CPU剧烈波动。如下图所示：
如果后续碰到类似的问题，可以参考从调整CPU亲和性方面考虑，按图索骥，尝试调整该参数，看是否有奇效。
特别推荐一个分享架构+算法的优质内容，还没关注的小伙伴，可以长按关注一下：
长按订阅更多精彩▼
如有收获，点个在看，诚挚感谢
免责声明：本文内容由21ic获得授权后发布，版权归原作者所有，本平台仅提供信息存储服务。文章仅代表作者个人观点，不代表本平台立场，如有问题，请联系我们，谢谢！
下载文档
