OpenStack开源技术解读：可视化智能日志管理项目Venus

北京2022年11月4日 /美通社/ -- 在开源社区建设过程中，浪潮云海OS团队始终秉承源于开源、馈于开源、完善开源的理念，不断优化社区已有功能、反馈客户需求并积极贡献到相关开源项目，以完善私有云场景，有效提升了OpenStack在私有云中大规模应用场景中的性能和稳定性。下面介绍下浪潮云海团队在社区贡献的可视化日志管理项目 -- Venus。

可视化日志管理项目功能架构

 支撑云数智融合实践

Venus项目旨在打造一个开放的OpenStack日志管理平台，收集广大开发者和用户在智能运维领域的需求，基于特定应用场景设计并开发基于OpenStack私有云的可视化日志管理系统，提供各场景日志分析、集成AC自动机等模式匹配算法和知识图谱实现故障的快速定位，构建完备的日志运维场景。浪潮云海OS团队基于浪潮云海云操作系统完成规模达500节点的单一集群大规模实践，并联合Intel发布了《基于500节点大规模单一集群行业云部署和性能优化白皮书》，为社区成员与用户构建更大规模的OpenStack单一集群，提供了详尽指导规范。

此后，浪潮云海OS团队完成了全球最大规模单一集群达1000节点的云数智融合实践，充分检验了浪潮云海云操作系统在大规模场景下平台的敏捷交付、持续优化和智能运维能力，验证了操作系统的高性能、高效率和高可用性。

可视化日志管理项目在以上两次大规模测试过程中起到了至关重要的作用，通过对发生故障的日志进行分析，快速检索平台、云主机、云硬盘、加速器设备等资源遇到故障，相比于人工查找故障原因，使用Venus项目分析、定位故障原因令运维效率提升了50%以上。

基于规则的异常日志检测和告警

众多可视化特性获得好评

Venus自浪潮云海OS团队贡献OpenStack社区之后，受到众多开源厂商、开源爱好者的好评，众多开源贡献者积极参与到了Venus开源项目的贡献中，浪潮云海秉着精益求精的匠心精神持续沉淀，在OpenStack Zed版本发布Venus项目的首个Release，团队在主线版本完成了基于Kolla的自动化部署、日志检索、日志清理、基于Horizon项目的可视化界面等众多特性。

资源统计及告警分析

• Venus集成到Kolla-ansible部署方式，实现Venus配置文件自动生成、数据注册、创建数据及支持容器化服务启动等；
• 开发Venus的Horizon展示插件，完成日志检索页面；
• 完成多维度日志分析、典型错误日志分析和自定义日志清理策略等。
  
  

Venus项目未来将会在智能化运维的道路上持续深耕，为开源社区、广大Venus开源项目的爱好者提供更多易用的功能，包括但不限于：

• Venus的Horizon展示插件实现多维度日志分析、典型错误日志分析和自定义日志清理策略等页面；
• 支持告警功能，包括自定义关键词告警、日志流速告警等，实现海量日志中错误的"大海捞针"和系统本身的稳定性提升；
• 实现基于日志数据的智能运维，包括基于日志数据的故障检测和调用链分析，实现故障的快速定位。

面向资源池的资源及性能预测分析

一直以来，浪潮云海OS团队通过在架构优化、权威基准测试、规模化应用、社区贡献、生态完善等方面的持续创新，构建了开放、融合、敏捷、智能的云操作系统，为各行各业提供数字转型、智能升级、融合创新的云基础设施。同时持续推动OpenStack、Kubernetes等开源技术在中国及世界范围的发展，为打造创新技术引擎不懈努力。