当前位置:首页 > 公众号精选 > 架构师社区
[导读]候选人问的最多的一个问题就是「中间件部门一般是干嘛的?」

最近频繁地在跟实习生候选人打交道,每次新接触一个候选人,都要花上一定的时间去介绍我们团队,候选人问的最多的一个问题就是「中间件部门一般是干嘛的?」,恰好我之前也接触过一些想从事中间件开发的小伙伴,问过我「现在转行做中间件开发还来得及吗?」诸如此类的问题,索性就写一篇文章,聊聊我个人这些年做中间件开发的感受吧。

什么是中间件开发?

我大四实习时,在一个 20 多人的软件开发团队第一次接触了中间件,当时项目的架构师引入了微博开源的 RPC 框架 Motan,借助于这个框架,我们迅速构建起了一个基于微服务架构的内部电商系统。接着在项目中,由于业务需求,我们又引入了 ActiveMQ...在这个阶段,我已经在使用中间件了,但似乎没有接触到中间件开发,更多的是使用层面上的接触。

我毕业后的第一份工作,公司有几百号研发,当时的 leader 看我对中间件比较感兴趣,有意把我分配在了基础架构团队,我第一次真正意义上成为了一名”中间件研发“,平时主要的工作,是基于开源的 Kong 和 Dubbo,进行一些内部的改造,以提供给业务团队更好地使用。这个阶段,做的事还是比较杂的,业务团队对某些中间件有定制化的需求,都需要去了解这个中间件,熟悉源码。这段时间,也是我成长最快的一个时期,我是在这个期间学会了 Docker、Neo4j、Kong 等以前从来没接触过的技术,并且更加深入地了解 Dubbo 这类 RPC 框架的原理。可能坐在我旁边的就是一个订单部门的同学,抛了一个功能点让我来改造。

现在,我供职于阿里云云原生中间件,相较于上一份中间件研发工作,阿里云这类互联网大公司,任意一个中间件都有少则数人,多则数十人负责,中间件部门和业务部门之间也有着明确的界限。在这里,中间件团队的职责可以细分为三个方向:

  1. 中间件团队会被业务团队的需求所驱动,为集团内部提供定制化的解决方案,俗称「自研」。所以你可能并不了解到 HSF、Diamond 这些阿里内部的中间件。
  2. 中间件团队会从事开源,花费大量的精力提升中间件的极致性能,提升开源影响力,引领技术先进性。这部分中间件则比较为人所熟知,例如 Dubbo、Spring Cloud Alibaba、RocketMQ、Nacos。
  3. 中间件会在阿里云输出商业化产品,相比开源产品,提供更高的 SLA、更强大的功能、更友好的交互。这部分商业化产品诸如:微服务引擎 MSE、消息队列 RocketMQ、分布式应用链路追踪 ARMS。

我的这三段经历,正好反应了不同规模的公司对中间件开发的不同需求。小公司使用中间件,例如 RPC、MQ、缓存等,基本是由业务开发人员自己维护的。但如果后台研发达到数百人,基本就会组建自己的中间件团队,或者选择使用阿里云等云厂商提供的中间件产品。

中间件开发和业务开发的区别

在我看来,中间件开发和业务开发并没有什么高下之分,非要说区别的话,有点像游戏里面的不同转职,有人选择的是魔法师,有人选择的是战士。在职场的练级过程中,每个人的总技能点数是一样的,业务开发有点向全能战士的方向去发展,各个点都涉猎一点,但每个方向能够分配到技能点自然就少了;中间件开发就像《因为太怕痛,就全点防御力了》里面的主角,把技能点都分配到了一个方向。

假设你是在一个小公司工作,现阶段并没有专门的中间件团队,大家都是业务开发,此时我们做一个假设:公司即将成立一个中间件团队或者叫基础架构部,那么会是哪一类人容易被选中呢?一定是那些技术功底扎实,对中间件感兴趣,研究过源码的人。这个假设并非凭空捏造,很多互联网公司的中间件团队都是这么一点点壮大起来的。我想说什么呢?业务开发和中间件开发一开始并没有明确的界限,因此,不用顾忌你现在是不是在从事业务开发,只要你对中间件感兴趣,有过源码级别的研究,就可以成为一个中间件开发。

中间件开发需要具备哪些素质?

越是大的公司,大的中间件团队,责任分工就越垂直。基本在大公司,一个中间件开发可能花几年时间在某一个垂直方向深耕。以下是一些常见的中间件方向,当然,这个分类在各个公司可能由于组织架构的原因,略有不同。

  1. 微服务治理。例如 RPC 相关中间件,注册中心,配置中心,限流熔断,链路追踪等等。开源产品例如:Dubbo、SpringCloud、Nacos、Zookeeper、Sentinel、Hystrix、Zipkin。
  2. 消息队列。微服务一般强调的同步通信,消息队列单独列出来,主要是因为其异步的机制。开源产品例如:RocketMQ、Kafka
  3. 存储中间件。例如缓存,数据库等等,例如 Mysql、Redis。值得一提的是,由于存储相关的系统一般都非常复杂,特别是在分布式存储领域,体系更是繁杂,在阿里内部一般将数据库和缓存这种存储类型的产品当成是和中间件平级的存在,所以如果有人说 Mysql 和 Redis 不是中间件,也没有啥好争吵的。
  4. 存储 Proxy。典型的如 ShardingSphere。
  5. 网关。例如 Spring Cloud Gateway、Kong、Nginx。
  6. ServiceMesh。Envoy、Istio 在阿里这边也被划分在中间件部门。

其实可以发现,中间件其实并没有一个明确的定义,到底哪些开源产品可以是中间件,哪些又不是。

列举完这些典型的中间件,继续讨论这一节的主题,一个中间件开发者需要具备哪些素质?

  1. 语言基础。从 Java 程序员的角度,基础通常就是:集合,并发,JVM,常用工具类。
  2. 操作系统基础。中间件开发人员经常和操作系统打交道,所以计算机基础也必不可少,我列举一些关键词,供各位参考
  • 文件 IO。例如 pageCache,mmap,direct IO 等概念。
  • 进程线程。例如 green thread,协程等概念。
  • 内存/CPU。例如 cgroup,cache line,bound core 等概念。
  • 网络基础。可以发现上述的每一个中间件都离不开网络通信,一定需要对 TCP 和 HTTP 的原理烂熟于心,框架层面需要熟悉 NIO、Netty、GRPC、HttpClient 等常用的网络框架/工具。
  • 分布式相关知识。了解 CAP, paxos,raft,zab,2pc/3pc,base 等理论知识,例如我看到有一些应届生简历中的一个项目经历就很有意思:根据 MIT 课程 Lab 实现 Raft 协议的 POC。
  • 源码阅读能力。我认为源码阅读能力是一个中间件开发者必备的素质,网上经常能看到各种源码分析文章,通过阅读开源中间件的源码,可以借鉴别人的设计理念,提升自身的编码水准。
  • 保持技术热情,拥抱变化。中间件技术日新月异,可能一个打败一个中间件的不是同类的产品,而是整体的大环境,例如近几年云原生大火,所有中间件几乎都在拥抱变化,主动向 K8s 对齐,在这个大背景下,就需要中间件开发者拥有 K8s 的基础认知能力,熟悉 pod、service、deployment、statefulSet、operator 这些 K8s 的基本概念。
  • 如何成为中间件开发

    看完上述这些要求,可能会有一些同学开始咋舌了,但其实也没那么可怕,这跟最早学习 Java 基础是一样的,很多东西一开始没有接触过,觉得很难,但熟悉之后会发现,也就那么回事。

    我的技术交流群中经常会有同学抱怨说,平时只能接触到 CRUD,根本接触不到这些”高大上“的技术。我想说的是,机会都是自己找的。我这里有几个切实可行的建议:

    1. 参与开源社区的项目,贡献代码。了解一个中间件最好的方式就是贡献它,带着问题有的放矢地研究源码,是我比较推荐的方式,你所需要做的是寻找一个合适的 issue,解决它。不断重复这个过程,你其实就是一个中间件开发了!
    2. 多动手做实验。很多上面提到的中间件开发应用的素质都可以通过动手做实验的方式来学习,例如动手实现一个简易的 RPC 框架,实现一个 Raft 协议的 POC,通过 benchmark 对比 FileChannel 和 MMAP 的性能,相信我,这比看书、看视频、看博客有用的多的多。
    3. 参与中间件挑战赛。最早是阿里会举办一年一度的中间件性能挑战赛,后来也有一些其他公司如华为开始效仿这类比赛,参与这些挑战赛也可以积累非常多的经验,同时你还可以借着组队,结交非常多的朋友。


    免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

    本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
    换一批
    延伸阅读

    历时近两月,用友第五届企业云服务开发者大赛初赛阶段顺利落下帷幕。

    关键字: 竞赛 开发

    北京2023年8月29日 /美通社/ -- 日前,中创股份全系列产品与浪潮信息keyarchOS完成适配测试及生态认证,测试结果显示,双方产品完全兼容、产品间协同稳定运行,性能卓越,能为企业应用提供可靠保障。 &n...

    关键字: RC OS 软件 中间件

    上海2022年8月5日 /美通社/ -- 易保网络(eBaoTech)与美国数据分析及风险评估公司 Verisk 近期签署战略合作协议,将完成易保®云中台®...

    关键字: 数字化 数据分析 中间件

    (全球TMT2022年7月28日讯)近日,智能驾驶平台软件公司零念科技宣布完成超亿元人民币Pre-A轮融资。本轮融资由博华资本和深创投领投,三家老股东均持续超额跟投,万世资本担任独家财务顾问。本轮融资将用于人才投入、技...

    关键字: 软件 智能驾驶 PLATFORM 中间件

    上海2022年7月28日 /美通社/ -- 近日,智能驾驶平台软件公司零念科技宣布完成超亿元人民币Pre-A轮融资。本轮融资由博华资本和深创投领投,三家老股东均持续超额跟投,...

    关键字: 软件 智能驾驶 中间件 自动驾驶

    摘要:根据相关技术标准要求,采用湘钢产612.5mm的77B盘条生产出了Φ6.0mm的高强度、低松弛预应力混凝土用螺旋肋钢丝。介绍了该螺旋肋钢丝的工艺设计过程,根据成品检测结果,表明该钢丝完全可以应用于相关工程的施工建设...

    关键字: 螺旋肋钢丝 开发 工艺设计

    助力汽车软硬件解耦,释放产业协同创新力 功能完善且完全开放,可以基于不同的芯片平台进行开发 上海2022年5月13日 /美通社/ -- 近日,全球自动驾驶计算芯片引领者黑芝麻智能对外发布瀚海-ADSP(Autonom...

    关键字: 中间件 自动驾驶 SDK 通信

    北京2022年4月29日 /美通社/ -- 4月26日,中国信通院主办了"稳保计划"首届云系统稳定性大会。会上,"稳保计划"云系统稳定...

    关键字: 分布式 应急预案 BSP 中间件

    摘要:结合物流行业的相关实践,提出将SOA体系架构用于物联网平台的建设策略和部署方式,以解决物联网平台建设上面临的一些问题。同时结合采集中间件系统,对平台扩展,性与支撑性进行了讨论。

    关键字: 物联网 SOA 物流 中间件

    摘要:结合智能交通系统体系框架和RFID应用系统架构,提出了一种基于射频识别的电子车证系统架构,并根据电子车证应用需求,在架构中引入了数据融合、实时事件检测和数据分析等技术。该架构可实现交通流数据的实时采集、可靠传输和智...

    关键字: 射频识别 智能交通 体系框架 中间件
    关闭
    关闭