唉,被坑惨了!
时间:2021-08-19 16:37:30
手机看文章
扫描二维码
随时随地手机看文章
[导读]大家好,我是小林。前几天基金还大涨了一波,结果今天一早上打开支付宝,发现昨天的基金收益直接-3000多。。。你说不心疼是假的,但是我短期内也不会卖出,所以在我不卖出的时候,它就是个数字,而且现在总体收益还是正数的,不慌!老读者应该知道,我是今年年初入坑基金的韭零后,选了几个基金后...
大家好,我是小林。前几天基金还大涨了一波,结果今天一早上打开支付宝,发现昨天的基金收益直接 -3000多。。。你说不心疼是假的,但是我短期内也不会卖出,所以在我不卖出的时候,它就是个数字,而且现在总体收益还是正数的,不慌!老读者应该知道,我是今年年初入坑基金的韭零后,选了几个基金后,就一直无脑定投,风雨无阻。在 3 月份的时候,总体收益最低的时候是 -10000,不过由于一直在持续定投,在 5 月份收益已经从负数变成正数了,收益也不算多,就小几千。这玩意涨跌每天都在发生,我就偶尔打开看看收益的情况,每次打开惊喜笔比较少,惊吓到是比较多些。好了,基金的事情就说到这了,我也算个反面教材,大家看个乐就好。身为技术博主,那肯定还是得说说技术的事情。昨天有位读者被坑了,问了我这么个问题:大致意思就是,他看了一个面经,说虚拟内存是 2G 大小,然后他看了我的图解系统 PDF 里说虚拟内存是 4G,然后他就懵逼了。其实他看这个面经很有问题,没有说明是什么操作系统,以及是多少位操作系统。因为不同的操作系统和不同位数的操作系统,虚拟内存可能是不一样多。Windows 系统我不了解,我就说说 Linux 系统。 在 Linux 操作系统中,虚拟地址空间的内部又被分为内核空间和用户空间两部分,不同位数的系统,地址 空间的范围也不同。比如最常⻅的 32 位和 64 位系统,如下所示:通过这里可以看出:
- 32 位系统的内核空间占用 1G ,位于最高处,剩下的 3G 是用户空间;
- 64 位系统的内核空间和用户空间都是 128T ,分别占据整个内存空间的最高和最低处,剩下的中
间部分是未定义的。
- 进程的虚拟内存空间上限,因为创建一个线程,操作系统需要为其分配一个栈空间,如果线程数量越多,所需的栈空间就要越大,那么虚拟内存就会占用的越多。
- 系统参数限制,虽然 Linux 并没有内核参数来控制单个进程创建的最大线程个数,但是有系统级别的参数来控制整个系统的最大线程个数。
$ ulimit -s 512
说完 32 位系统的情况,我们来看看 64 位系统里,一个进程能创建多少线程呢?我的测试服务器的配置:- 64 位系统;
- 2G 物理内存;
- 单核 CPU。
- /proc/sys/kernel/threads-max,表示系统支持的最大线程数,默认值是
14553; - /proc/sys/kernel/pid_max,表示系统全局的 PID 号数值的限制,每一个进程或线程都有 ID,ID 的值超过这个数,进程或线程就会创建失败,默认值是
32768; - /proc/sys/vm/max_map_count,表示限制一个进程可以拥有的VMA(虚拟内存区域)的数量,具体什么意思我也没搞清楚,反正如果它的值很小,也会导致创建线程失败,默认值是
65530。
threads-max 内核参数,它是限制系统里最大线程数,默认值是 14553。我们可以运行那个测试线程数的程序后,看下当前系统的线程数是多少,可以通过 top -H 查看。左上角的 Threads 的数量显示是 14553,与 threads-max 内核参数的值相同,所以我们可以认为是因为这个参数导致无法继续创建线程。那么,我们可以把 threads-max 参数设置成 99999:echo 99999 > /proc/sys/kernel/threads-max
设置完 threads-max 参数后,我们重新跑测试线程数的程序,运行后结果如下图:可以看到,当进程创建了 32326 个线程后,就无法继续创建里,且报错是无法继续申请内存。此时的上限个数很接近 pid_max 内核参数的默认值(32768),那么我们可以尝试将这个参数设置为 99999:echo 99999 > /proc/sys/kernel/pid_max
设置完 pid_max 参数后,继续跑测试线程数的程序,运行后结果创建线程的个数还是一样卡在了 32768 了。当时我也挺疑惑的,明明 pid_max 已经调整大后,为什么线程个数还是上不去呢?后面经过查阅资料发现,max_map_count 这个内核参数也是需要调大的,但是它的数值与最大线程数之间有什么关系,我也不太明白,只是知道它的值是会限制创建线程个数的上限。然后,我把 max_map_count 内核参数也设置成后 99999:echo 99999 > /proc/sys/kernel/pid_max
继续跑测试线程数的程序,结果如下图:当创建差不多 5 万个线程后,我的服务器就卡住不动了,CPU 都已经被占满了,毕竟这个是单核 CPU,所以现在是 CPU 的瓶颈了。我只有这台服务器,如果你们有性能更强的服务器来测试的话,有兴趣的小伙伴可以去测试下。接下来,我们换个思路测试下,把创建线程时分配的栈空间调大,比如调大为 100M,在大就会创建线程失败。ulimit -s 1024000
设置完后,跑测试线程的程序,其结果如下:总共创建了 26390 个线程,然后就无法继续创建了,而且该进程的虚拟内存空间已经高达 25T,要知道这台服务器的物理内存才 2G。为什么物理内存只有 2G,进程的虚拟内存却可以使用 25T 呢?因为虚拟内存并不是全部都映射到物理内存的,程序是有局部性的特性,也就是某一个时间只会执行部分代码,所以只需要映射这部分程序就好。你可以从上面那个 top 的截图看到,虽然进程虚拟空间很大,但是物理内存(RES)只有使用了 400M 。好了,简单总结下:- 32 位系统,用户态的虚拟空间只有 3G,如果创建线程时分配的栈空间是 10M,那么一个进程最多只能创建 300 个左右的线程。
- 64 位系统,用户态的虚拟空间大到有 128T,理论上不会受虚拟内存大小的限制,而会受系统的参数或性能限制。





