[导读]前言这篇文章的主题是记录一次Python程序的性能优化,在优化的过程中遇到的问题,以及如何去解决的。为大家提供一个优化的思路,首先要声明的一点是,我的方式不是唯一的,大家在性能优化之路上遇到的问题都绝对不止一个解决方案。如何优化首先大家要明确的一点是,脱离需求谈优化都是耍流氓,所...
前言
这篇文章的主题是记录一次 Python 程序的性能优化,在优化的过程中遇到的问题,以及如何去解决的。为大家提供一个优化的思路,首先要声明的一点是,我的方式不是唯一的,大家在性能优化之路上遇到的问题都绝对不止一个解决方案。
如何优化
首先大家要明确的一点是,脱离需求谈优化都是耍流氓,所以有谁跟你说在xx机器上实现了百万并发,基本上可以认为是不懂装懂了,单纯的并发数完全是无意义的。其次,我们优化之前必须要有一个目标,需要优化到什么程度,没有明确目标的优化是不可控的。再然后,我们必须明确的找出性能瓶颈在哪里,而不能漫无目的的一通乱搞。
需求描述
这个项目是我在上家公司负责一个单独的模块,本来是集成在主站代码中的,后来因为并发太大,为了防止出现问题后拖累主站服务,所有由我一个人负责拆分出来。对这个模块的拆分要求是,压力测试 QPS 不能低于3万,数据库负载不能超过50%,服务器负载不能超过70%,单次请求时长不能超过70ms,错误率不能超过5%。环境的配置如下:服务器:4核8G内存,CentOS7系统,SSD 硬盘
数据库:MySQL 5.7,最大连接数 800
缓存: Redis,1G 容量。以上环境都是购买自腾讯云的服务。压测工具:locust,使用腾讯的弹性伸缩实现分布式的压测。需求描述如下:用户进入首页,从数据库中查询是否有合适的弹窗配置,如果没有,则继续等待下一次请求、如果有合适的配置,则返回给前端。这里开始则有多个条件分支,如果用户点击了弹窗,则记录用户点击,并且在配置的时间内不再返回配置,如果用户未点击,则24小时后继续返回本次配置,如果用户点击了,但是后续没有配置了,则接着等待下一次。
重点分析
根据需求,我们知道了有几个重要的点,1、需要找出合适用户的弹窗配置,2、需要记录用户下一次返回配置的时间并记录到数据库中,3、需要记录用户对返回的配置执行了什么操作并记录到数据库中。
调优
我们可以看到,上述三个重点都存在数据库的操作,不只有读库,还有写库操作。从这里我们可以看到如果不加缓存的话,所有的请求都压到数据库,势必会占满全部连接数,出现拒绝访问的错误,同时因为 SQL 执行过慢,导致请求无法及时返回。所以,我们首先要做的就是讲写库操作剥离开来,提升每一次请求响应速度,优化数据库连接。整个系统的架构图如下:
将写库操作放到一个先进先出的消息队列中来做,为了减少复杂度,使用了Redis 的 list 来做这个消息队列。然后进行压测,结果如下:QPS 在 6000 左右 502 错误大幅上升至 30%,服务器 CPU 在 60%-70% 之间来回跳动,数据库连接数被占满 TCP 连接数为 6000 左右,很明显,问题还是出在数据库,经过排查 SQL 语句,查询到原因就是找出合适用户的配置操作时每次请求都要读取数据库所导致的连接数被用完。因为我们的连接数只有 800,一旦请求过多,势必会导致数据库瓶颈。好了,问题找到了,我们继续优化,更新的架构如下:
我们将全部的配置都加载到缓存中,只有在缓存中没有配置的时候才会去读取数据库。接下来我们再次压测,结果如下:
QPS 压到 2万左右的时候就上不去了,服务器 CPU 在 60%-80% 之间跳动,数据库连接数为300个左右,每秒TPC连接数为1.5万左右。这个问题是困扰我比较久的一个问题,因为我们可以看到,我们2万的 QPS,但是TCP 连接数却并没有达到2万,我猜测,TCP连接数就是引发瓶颈的问题,但是因为什么原因所引发的暂时无法找出来。
这个时候猜测,既然是无法建立 TCP 连接,是否有可能是服务器限制了 socket 连接数,验证猜测,我们看一下,在终端输入 ulimit -n 命令,显示的结果为65535,看到这里,觉得 socket 连接数并不是限制我们的原因,为了验证猜测,将 socket 连接数调大为100001.再次进行压测,结果如下:QPS压到2.2万左右的时候就上不去了,服务器cpu在60%-80%之间跳动,数据库连接数为300个左右,每秒 TCP 连接数为1.7万左右。虽然有一点提升,但是并没有实质性的变化,接下来的几天时间,我发现都无法找到优化的方案,那几天确实很难受,找不出来优化的方案,过了几天,再次将问题梳理了一遍,发现,虽然socket连接数足够,但是并没有全部被用上,猜测,每次请求过后,tcp连接并没有立即被释放,导致socket无法重用。经过查找资料,找到了问题所在,
TCP 链接在经过四次握手结束连接后并不会立即释放,而是处于 timewait 状态,会等待一段时间,以防止客户端后续的数据未被接收。
好了,问题找到了,我们要接着优化,首先想到的就是调整 TCP 链接结束后等待时间,但是 Linux 并没有提供这一内核参数的调整,如果要改,必须要自己重新编译内核,幸好还有另一个参数 net.ipv4.tcp_max_tw_buckets, timewait 的数量,默认是180000。我们调整为 6000,然后打开 timewait 快速回收,和开启重用,完整的参数优化如下:
#timewait 的数量,默认是 180000。net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.ip_local_port_range = 1024 65000
#启用 timewait 快速回收。net.ipv4.tcp_tw_recycle = 1#开启重用。允许将 TIME-WAIT sockets 重新用于新的 TCP 连接。net.ipv4.tcp_tw_reuse = 1 我们再次压测,结果显示:QPS 5万,服务器 CPU 70%,数据库连接正常,TCP 连接正常,响应时间平均为 60ms,错误率为 0%。
结语
到此为止,整个服务的开发、调优、和压测就结束了。回顾这一次调优,得到了很多经验,最重要的是,深刻理解了web开发不是一个独立的个体,而是网络、数据库、编程语言、操作系统等多门学科结合的工程实践,这就要求web开发人员有牢固的基础知识,否则出现了问题还不知道怎么分析查找。ps:服务端开启了 tcp_tw_recycle 和 tcp_tw_reuse是会导致一些问题的,我们为了优化选择牺牲了一部分,获得另一部分,这也是我们要明确的,具体的问题可以查看耗子叔的文章TCP 的那些事儿(上)
本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
科睿唯安《全球创新Top100》以该公司拥有的专利数据库为基础,根据“成功率”、“地域投资”、“影响力”、“稀缺性”四个评价维度对知识产权进行分析,评选出全球百强创新企业和机构。该评选从2012年开始每年实施一次,202...
关键字:
数据库
5G
人工智能
北京——2024年2月26日 日前,领先的IT市场研究和咨询公司IDC发布《IDC MarketScape:全球云计算和以应用为中心的市场供应商评估》1报告,亚马逊位列“领导者”类别。报告指出,“亚马逊云科技Market...
关键字:
云计算
数据库
存储
北京——2023年12月27日 在2023亚马逊云科技re:Invent全球大会上,亚马逊云科技表彰了在过去一年中,利用亚马逊云科技的技术和服务在推动客户创新及解决方案构建方面做出杰出贡献的卓越合作伙伴。8家亚马逊云科技...
关键字:
数智化转型
机器学习
数据库
北京——2023年12月7日 亚马逊云科技在2023 re:Invent全球大会上,宣布推出三项新的无服务器服务创新,涵盖了数据库和分析领域,使客户能够更快速、更轻松地扩展他们的数据基础设施,以支持最具挑战性的应用场景。...
关键字:
服务器
人工智能
数据库
北京——2023年12月4日 亚马逊云科技在2023 re:Invent全球大会上,宣布推出一系列新的集成解决方案,旨在帮助客户迅速而轻松地连接和分析数据,而无需构建和管理复杂的提取、转换和加载(ETL)数据管道。通过全...
关键字:
数据存储
数据库
人工智能
北京——2023年11月13日 亚马逊云科技携手凯捷(Capgemini)中国共同发布《汽车行业可持续发展白皮书》(以下简称《白皮书》),并助力凯捷中国推出碳排放管理平台,致力于以数智化方式帮助车企解决在实践可持续发展过...
关键字:
数据库
机器学习
电动汽车
11月1日,由开放原子开源基金会主办,电子科技大学承办,深圳市腾讯计算机系统有限公司提供战略合作支持的2023年开放原子校源行(成都站)活动在电子科技大学圆满举行。本次活动以“聚缘于校,开源共行”为主题,将四川省在信息技...
关键字:
开源模式
操作系统
数据库
11月1日,2023杭州云栖大会上,阿里云瑶池数据库宣布已全面实现Serverless化,并接入通义等大模型能力,大幅提升数据库一站式及智能化水平。同时,PolarDB Always On系列推出3大重磅升级,首个数据智...
关键字:
Serverless
AI
阿里云
数据库
2023年中国市场薪资增长率(不包含冻薪)为4.9%,预计2024年薪资增长率(不包含冻薪)为5.0%,在亚太地区处于中位水平。 2023年薪资增长水平最高的行业是高科技行业,为5.6%。生命科学行业2024年...
关键字:
BSP
CONTENT
PS
OV
北京2023年9月8日 /美通社/ -- 日前,"云融数智 创领未来"2023浪潮云海云图生态峰会产品技术伙伴专场在北京成功举办。来自开源基金会、云安全、PaaS、数据库服务、容灾备份等领域的头部领先...
关键字:
云安全
私有云
数据库
NI
北京2023年9月7日 /美通社/ -- 在欧盟推出碳边境调节机制(CBAM)的背景下,为了更好的提升中国相关工业企业在碳排放管理方面的能力,推进中国与欧盟相关机制的国际合作,2023年9月3日于北京,DEKRA德凯受国...
关键字:
供应链
可持续发展
ISO
数据库
广州2023年9月7日 /美通社/ -- 近日,泰测凭借多年车辆合规及认证经验,推出基于自研的数字化系统推出全球车辆法规订阅服务,客户可随时随地登录泰测客户平台查阅。 泰测基于自研的数字化系统,推出全球车辆法规订阅服务...
关键字:
零部件
BSP
数字化系统
数据库
上海2023年9月4日 /美通社/ -- 2023年8月8日,成都大运会正式落幕。来自113个国家和地区的6500名大学生运动员,在12个比赛日里同台竞技,展现青春与体育的力量。与此同时,在大运会的各个赛场、运动员村以及...
关键字:
信号
TV
PS
CE
- NIPPON EXPRESS全新品牌宣传片带您走进全球物流的幕后 东京2023年9月4日 /美通社/ -- NIPPON EXPRESS HOLDINGS株式会社于9月1日发布了全新品牌宣传片《Finding th...
关键字:
EXPRESS
NI
IP
PS
北京2023年9月4日 /美通社/ -- 日前,Gitee DevOps研发一体化管理系统与云峦服务器操作系统KeyarchOS完成浪潮信息澎湃技术认证,测试结果表明,Gitee DevOps能够很好地兼容并支持X86版...
关键字:
GIT
TE
RC
PS
上海2023年9月1日 /美通社/ -- 株式会社万代南梦宫游艺(总部:东京港区/社长:川﨑 寛)和万代南梦宫(上海)游乐有限公司(总部:中国上海/董事长:池田 宏)(以下简称:万代南梦宫上海游乐)与广州华立科技股份有限...
关键字:
AI
NDA
PS
COM
促进学术交流 招募全球英才 上海2023年8月31日 /美通社/ -- 由台达赞助并深度参与的IEEE PELS全球青年学者与学生论坛(SYPS),8月27日至29日于上海举行。今年是IEEE SYPS第二届论坛,也是...
关键字:
IEEE
电力电子学
PS
开关式
dataFEED OPC UA Tunnel是Softing Industrial公司dataFEED OPC Suite的新组件。它可以跨越网络边界和防火墙以轻松安全地访问OPC Classic服务器,而不再需要配置D...
关键字:
服务器
DCOM
数据库
北京2023年8月25日 /美通社/ -- 日前,虚谷数据库与浪潮信息云峦服务器操作系统keyarchOS完成兼容性适配测试。测试结果显示,虚谷数据库在X86_64版本、aarch64版本KeyarchOS平台上均稳定高...
关键字:
数据库
RC
OS
操作系统
北京——2023年8月17日 日前,领先的 IT 市场研究和咨询公司 IDC 发布《2023年亚太地区(不含日本)决策支持型分析数据平台供应商评估》*1报告,亚马逊云科技位列“领导者“类别。IDC认为,亚马逊云科技在解决...
关键字:
数据分析
机器学习
数据库