Understanding glibc malloc

日志：

1. [2019-10-10] 经评论 @kwdecsdn 提醒，新增对「Unsorted Bin 中的 chunks 何时移至 small/large chunk 中」的补充解释。

2. [2019-02-06] 勘误与代码着色优化；

3. [2018-05-22] 内容优化与排版优化；

4. [2017-03-17] 优化排版.

译者言:

1. [2018-05-22] 在写完这篇博客之后，我抽空将 glibc malloc 的源码阅读了一遍，并参与编撰了一篇有关分配器的综述文献1，最后我动手实现了自己的分配器。当然，这都是 17 年暑期之前的工作了。一年后的今天，我打开这篇藏在记忆角落里的文章，看着它惊人的点击量，我觉得我有必要认真地校准一下本文，从而尽量为大家提供一篇内容正确、阅读舒适的博文，这样才对得起大家的厚望。在修订过程中，为了避免令人尴尬的翻译腔，我会尽量意译与技术无关的文本，希望大家喜欢！

2. [2016-07-21] 本篇文章主要完成了「Understanding glibc malloc」的翻译工作。限于本人翻译水平与专业技术水平（纯粹为了了解内存分配而翻），本文章必定会有很多不足之处，请大家见谅，也欢迎大家的指正！

文章目录

• Understanding glibc malloc

• 5.1. Fast Bin

• 5.2. Unsorted Bin

• 5.3. Small Bin

• 5.4. Large Bin

• 5.5. Top Chunk

• 5.6. Last Remainder Chunk

• 4.1. Allocated chunk

• 4.2. Free chunk

• 3.1. Arena 的数量

• 3.2. Multiple Arena

• 3.3. Multiple Heaps

• 2.1. 案例代码

• 2.2. 案例输出

• 2.2.1. 在主线程 malloc 之前

• 2.2.2. 在主线程 malloc 之后

• 2.2.3. 在主线程 free 之后

• 2.2.4. 在 thread1 malloc 之前

• 2.2.5. 在 thread1 malloc 之后

• 2.2.6. 在 thread1 free 之后

• 前言

• 1. 申请堆的系统调用

• 2. 多线程支持

• 3. Arena

• 4. Chunk

• 5. Bins

• 
  

前言

堆内存（Heap Memory）是一个很有意思的领域。你可能和我一样，也困惑于下述问题很久了：

• 如何从内核申请堆内存？

• 谁管理它？内核、库函数，还是应用本身？

• 内存管理效率怎么这么高？！

• 堆内存的管理效率可以进一步提高吗？

最近，我终于有时间去深入了解这些问题。下面就让我来谈谈我的调研成果。

开源社区公开了很多现成的内存分配器（Memory Allocators，以下简称为分配器）：

• dlmalloc – 第一个被广泛使用的通用动态内存分配器；

• ptmalloc2 – glibc 内置分配器的原型；

• jemalloc – FreeBSD ＆ Firefox 所用分配器；

• tcmalloc – Google 贡献的分配器；

• libumem – Solaris 所用分配器；

• …

每一种分配器都宣称自己快（fast）、可拓展（scalable）、效率高（memory efficient）！但是并非所有的分配器都适用于我们的应用。内存吞吐量大（memory hungry）的应用程序，其性能很大程度上取决于分配器的性能。

在这篇文章中，我只谈「glibc malloc」分配器。为了方便大家理解「glibc malloc」，我会联系最新的源代码。

历史：ptmalloc2 基于 dlmalloc 开发，其引入了多线程支持，于 2006 年发布。发布之后，ptmalloc2 整合进了 glibc 源码，此后其所有修改都直接提交到了 glibc malloc 里。因此，ptmalloc2 的源码和 glibc malloc 的源码有很多不一致的地方。（译者注：1996 年出现的 dlmalloc 只有一个主分配区，该分配区为所有线程所争用，1997 年发布的 ptmalloc 在 dlmalloc 的基础上引入了非主分配区的概念。）

1. 申请堆的系统调用

我在之前的文章中提到过，malloc 内部通过 brk 或 mmap 系统调用向内核申请堆区。

译者注：在内存管理领域，我们一般用「堆」指代用于分配动态内存的虚拟地址空间，而用「栈」指代用于分配静态内存的虚拟地址空间。具体到虚拟内存布局（Memory Layout），堆维护在通过 brk 系统调用申请的「Heap」及通过 mmap 系统调用申请的「Memory Mapping Segment」中；而栈维护在通过汇编栈指令动态调整的「Stack」中。在 Glibc 里，「Heap」用于分配较小的内存及主线程使用的内存。

下图为 Linux 内核 v2.6.7 之后，32 位模式下的虚拟内存布局方式。

2. 多线程支持

Linux 的早期版本采用 dlmalloc 作为它的默认分配器，但是因为 ptmalloc2 提供了多线程支持，所以 后来 Linux 就转而采用 ptmalloc2 了。多线程支持可以提升分配器的性能，进而间接提升应用的性能。

在 dlmalloc 中，当两个线程同时 malloc 时，只有一个线程能够访问临界区（critical section）——这是因为所有线程共享用以缓存已释放内存的「空闲列表数据结构」（freelist data structure），所以使用 dlmalloc 的多线程应用会在 malloc 上耗费过多时间，从而导致整个应用性能的下降。

在 ptmalloc2 中，当两个线程同时调用 malloc 时，内存均会得以立即分配——每个线程都维护着单独的堆，各个堆被独立的空闲列表数据结构管理，因此各个线程可以并发地从空闲列表数据结构中申请内存。这种为每个线程维护独立堆与空闲列表数据结构的行为就「per thread arena」。

2.1. 案例代码

/* Per thread arena example. */#include #include #include #include #include
void* threadFunc(void* arg) { printf("Before malloc in thread 1\n"); getchar(); char* addr = (char*) malloc(1000); printf("After malloc and before free in thread 1\n"); getchar(); free(addr); printf("After free in thread 1\n"); getchar();}
int main() { pthread_t t1; void* s; int ret; char* addr;
printf("Welcome to per thread arena example::%d\n",getpid()); printf("Before malloc in main thread\n"); getchar(); addr = (char*) malloc(1000); printf("After malloc and before free in main thread\n"); getchar(); free(addr); printf("After free in main thread\n"); getchar(); ret = pthread_create(