当前位置:首页 > 公众号精选 > 程序喵大人
[导读]Understandingglibcmalloc日志:[2019-10-10]经评论@kwdecsdn提醒,新增对「UnsortedBin中的chunks何时移至small/largechunk中」的补充解释。[2019-02-06]勘误与代码着色优化;[2018-05-22]内...

Understanding glibc malloc

日志

  1. [2019-10-10] 经评论 @kwdecsdn 提醒,新增对「Unsorted Bin 中的 chunks 何时移至 small/large chunk 中」的补充解释。

  2. [2019-02-06] 勘误与代码着色优化;

  3. [2018-05-22] 内容优化与排版优化;

  4. [2017-03-17] 优化排版.

译者言:

  1. [2018-05-22] 在写完这篇博客之后,我抽空将 glibc malloc 的源码阅读了一遍,并参与编撰了一篇有关分配器的综述文献1,最后我动手实现了自己的分配器。当然,这都是 17 年暑期之前的工作了。一年后的今天,我打开这篇藏在记忆角落里的文章,看着它惊人的点击量,我觉得我有必要认真地校准一下本文,从而尽量为大家提供一篇内容正确、阅读舒适的博文,这样才对得起大家的厚望。在修订过程中,为了避免令人尴尬的翻译腔,我会尽量意译与技术无关的文本,希望大家喜欢!

  2. [2016-07-21] 本篇文章主要完成了「Understanding glibc malloc」的翻译工作。限于本人翻译水平与专业技术水平(纯粹为了了解内存分配而翻),本文章必定会有很多不足之处,请大家见谅,也欢迎大家的指正!


文章目录

  • Understanding glibc malloc

    • 5.1. Fast Bin

    • 5.2. Unsorted Bin

    • 5.3. Small Bin

    • 5.4. Large Bin

    • 5.5. Top Chunk

    • 5.6. Last Remainder Chunk

    • 4.1. Allocated chunk

    • 4.2. Free chunk

    • 3.1. Arena 的数量

    • 3.2. Multiple Arena

    • 3.3. Multiple Heaps

    • 2.1. 案例代码

    • 2.2. 案例输出

    • 2.2.1. 在主线程 malloc 之前

    • 2.2.2. 在主线程 malloc 之后

    • 2.2.3. 在主线程 free 之后

    • 2.2.4. 在 thread1 malloc 之前

    • 2.2.5. 在 thread1 malloc 之后

    • 2.2.6. 在 thread1 free 之后

    • 前言

    • 1. 申请堆的系统调用

    • 2. 多线程支持

    • 3. Arena

    • 4. Chunk

    • 5. Bins


前言

堆内存(Heap Memory)是一个很有意思的领域。你可能和我一样,也困惑于下述问题很久了:

  • 如何从内核申请堆内存?

  • 谁管理它?内核、库函数,还是应用本身?

  • 内存管理效率怎么这么高?!

  • 堆内存的管理效率可以进一步提高吗?

最近,我终于有时间去深入了解这些问题。下面就让我来谈谈我的调研成果。

开源社区公开了很多现成的内存分配器(Memory Allocators,以下简称为分配器):

  • dlmalloc – 第一个被广泛使用的通用动态内存分配器;

  • ptmalloc2 – glibc 内置分配器的原型;

  • jemalloc – FreeBSD & Firefox 所用分配器;

  • tcmalloc – Google 贡献的分配器;

  • libumem – Solaris 所用分配器;

每一种分配器都宣称自己快(fast)、可拓展(scalable)、效率高(memory efficient)!但是并非所有的分配器都适用于我们的应用。内存吞吐量大(memory hungry)的应用程序,其性能很大程度上取决于分配器的性能。

在这篇文章中,我只谈「glibc malloc」分配器。为了方便大家理解「glibc malloc」,我会联系最新的源代码。

历史:ptmalloc2 基于 dlmalloc 开发,其引入了多线程支持,于 2006 年发布。发布之后,ptmalloc2 整合进了 glibc 源码,此后其所有修改都直接提交到了 glibc malloc 里。因此,ptmalloc2 的源码和 glibc malloc 的源码有很多不一致的地方。(译者注:1996 年出现的 dlmalloc 只有一个主分配区,该分配区为所有线程所争用,1997 年发布的 ptmalloc 在 dlmalloc 的基础上引入了非主分配区的概念。)

1. 申请堆的系统调用

我在之前的文章中提到过,malloc 内部通过 brk 或 mmap 系统调用向内核申请堆区。

译者注:在内存管理领域,我们一般用「堆」指代用于分配动态内存的虚拟地址空间,而用「栈」指代用于分配静态内存的虚拟地址空间。具体到虚拟内存布局(Memory Layout),堆维护在通过 brk 系统调用申请的「Heap」及通过 mmap 系统调用申请的「Memory Mapping Segment」中;而栈维护在通过汇编栈指令动态调整的「Stack」中。在 Glibc 里,「Heap」用于分配较小的内存及主线程使用的内存。

下图为 Linux 内核 v2.6.7 之后,32 位模式下的虚拟内存布局方式。

2. 多线程支持

Linux 的早期版本采用 dlmalloc 作为它的默认分配器,但是因为 ptmalloc2 提供了多线程支持,所以 后来 Linux 就转而采用 ptmalloc2 了。多线程支持可以提升分配器的性能,进而间接提升应用的性能。

在 dlmalloc 中,当两个线程同时 malloc 时,只有一个线程能够访问临界区(critical section)——这是因为所有线程共享用以缓存已释放内存的「空闲列表数据结构」(freelist data structure),所以使用 dlmalloc 的多线程应用会在 malloc 上耗费过多时间,从而导致整个应用性能的下降。

在 ptmalloc2 中,当两个线程同时调用 malloc 时,内存均会得以立即分配——每个线程都维护着单独的堆,各个堆被独立的空闲列表数据结构管理,因此各个线程可以并发地从空闲列表数据结构中申请内存。这种为每个线程维护独立堆与空闲列表数据结构的行为就「per thread arena」。

2.1. 案例代码

/* Per thread arena example. */#include #include #include #include #include
void* threadFunc(void* arg) { printf("Before malloc in thread 1\n"); getchar(); char* addr = (char*) malloc(1000); printf("After malloc and before free in thread 1\n"); getchar(); free(addr); printf("After free in thread 1\n"); getchar();}
int main() { pthread_t t1; void* s; int ret; char* addr;
printf("Welcome to per thread arena example::%d\n",getpid()); printf("Before malloc in main thread\n"); getchar(); addr = (char*) malloc(1000); printf("After malloc and before free in main thread\n"); getchar(); free(addr); printf("After free in main thread\n"); getchar(); ret = pthread_create(
本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

为增进大家对分配器的认识,本文将对递进式分配器予以介绍。

关键字: 递进式分配器 指数 分配器

为增进大家对分配器的认识,本文将对VGA分配器以及VGA分配器的工作原理予以介绍。

关键字: VGA 指数 分配器

为增进大家对功率分配器的认识,本文将对功率分配器的功能、功率分配器的技术指标予以介绍。

关键字: 功率分配器 指数 分配器

↓推荐关注↓前言堆内存(HeapMemory)是一个很有意思的领域。你可能和我一样,也困惑于下述问题很久了:如何从内核申请堆内存?谁管理它?内核、库函数,还是应用本身?内存管理效率怎么这么高?!堆内存的管理效率可以进一步...

关键字: 分配器 内存分配 BSP THREAD

关注、星标公众号,直达精彩内容文章来源:技术让梦想更伟大整理:李肖遥前言由于malloc()的源码十分的繁琐,并且会调用OS所提供的API,所以我不在对malloc()的源码进行分析了,而只是会分析malloc()的动作...

关键字: 内存分配 GROUP TE COOKIE

Understandingglibcmalloc日志:[2019-10-10]经评论@kwdecsdn提醒,新增对「UnsortedBin中的chunks何时移至small/largechunk中」的补充解释。[2019...

关键字: 分配器 内存分配

  网络分配器就是把一路网络信号分成几路网络信号,且每路信号电平相等的设备。使用分配器会有信号强度的损耗。2分配为4dB,3分配为6dB,4分配为8dB。分配器分成过流(电)型,和不过流型。就是

关键字: 分配器

  网络分配器是什么   网络分配器,俗称猫”,它能把计算机的数字信号翻译成可沿普通电话线传送的脉冲信号,而这些脉冲信号又可被线路另一端的另一个调制解调器接收,并译成计算机可

关键字: 交换器 分配器

新加坡–2019年9月11日–Molex旗下的Phillips-Medisize公司今天宣布与一家全球性的制药公司达成协议,在该协议下,Phillips-Medisize收购了有关一种创新性的小片药分配器的专有专利权归属...

关键字: 分配器 制药公司 小片药

内存分配方面:堆: 操作系统有一个记录空闲内存地址的链表,当系统收到程序的申请时,会遍历该链表,寻找第一个空间大于所申请空间的堆结点,然后将该结点从空闲结点链表中删 除,并将该结点的空间分配给程序,另

关键字: c++ 内存分配

程序喵大人

185 篇文章

关注

发布文章

编辑精选

技术子站

关闭