当前位置:首页 > 公众号精选 > 大鱼机器人
[导读]引言 本教程连载一辆能够用 ROS 控制的带摄像头的小车,用 ROS 发布图像数据,对获取到的图像进行处理,例如目标检测 。这里主要介绍如何把本教程后面的的内容汇聚起来,实现一个能目标检测的小车。 先归纳一下之后文档的内容: 获取本项目完整教程代码及文档


引言


本教程连载一辆能够用 ROS 控制的带摄像头的小车,用 ROS 发布图像数据,对获取到的图像进行处理,例如目标检测 这里主要介绍如何把本教程后面的的内容汇聚起来,实现一个能目标检测的小车。
先归纳一下之后文档的内容:


获取本项目完整教程代码及文档请关注下方二维码

并在公众号后台回复数字“4"


这篇文档几乎涉及了上面所有文档的内容是一个综合应用,大家可以根据之后的连载一步一步学起来。如果对上面的内容比较熟悉了,就会发现这篇文档很简短,但是却是建立在之前已有的基础上。

现在应当已经熟悉的内容:

  • 了解 CNN 的工作原理;

  • 能使用 Darknet 训练自己的目标检测模型

  • 能用 rosserial 建立 RT-Thread 和 ROS 的连接

  • 能用 ROS 发布图像信息


下面就会介绍如何用 ROS 发布的图像信息和 Darknet 连接做目标检测。

1.Darknet ROS


1.1 获取源码

其实下面要用到的是一个 ROS 软件包,这个软件包现在也是开源的:
1# 初始化工作环境
2$ mkdir catkin_workspace
3$ cd catkin_workspace/src
4$ catkin_init_workspace
5
6## 下载源码
7$ git clone --recursive http://github.com/leggedrobotics/darknet_ros.git

除了源码,我们还要下载一些训练好的神经网络权值,放在下面这个目录:

1$ catkin_workspace/src/darknet_ros/darknet_ros/yolo_network_config/weights/


如果觉得国外下载速度太慢的话,这里我有个国内的 CDN 加速镜像:
  • yolov2-tiny.weightshttps://wuhanshare-1252843818.cos.ap-guangzhou.myqcloud.com/yolov2-tiny.weights

  • yolov2.weightshttps://wuhanshare-1252843818.cos.ap-guangzhou.myqcloud.com/yolov2.weights

  • yolov3.weightshttps://wuhanshare-1252843818.cos.ap-guangzhou.myqcloud.com/yolov3.weights

如果源码和权值都下载好了,我们就可以准备编译了。

1.2 编译源码


为了保证 Darknet 能够获取到摄像头的数据,我们需要先告诉它摄像头的信息发布在哪里,修改这个文件:

1$ catkin_workspace/src/darknet_ros/darknet_ros/config/ros.yaml

把下面的 topic 修改为自己图像发布的位置,例如我这里发布在 /usb_cam/image_raw
1camera_reading:
2    topic: /usb_cam/image_raw
3    queue_size: 1

然后就可以编译软件包了,在 catkin_workspace 目录下:

1$ catkin_make


一切正常的话,编译就完成了,其实不需要做太多的工作,编译完记得更新一下环境变量,这样后面才能正常启动这个软件包。
1$ sorce devel/setup.bash

1.3 目标检测


在进行目标检测前,我们先启动 ROS 节点:
1$ roscore

然后启动一个摄像头节点:

1roslaunch usb_cam usb_cam-test.launch


这样就可以实时看到摄像头的数据了,摄像头在哪里其实不重要,既可以在小车上,也可以在电脑上,这也是 ROS 的优美之处,只要节点发布了摄像头消息,不管摄像头在哪, ROS 都能拿到处理:

接下来我们启动 Darknet 的节点:

1$ roslaunch darknet_ros darknet_ros.launch


下面这张图就可以看到有两个视频流,左边的是没有处理的实时图像,右边是运行了目标检测的结果:

2.总结


RT-Thread 作为实时操作系统负责控制,Linux 则负责提供丰富的软件包运行算法,两者相结合,互相取长补短还是配合地挺好的。

3.参考文献


Darknet ROS: https://github.com/leggedrobotics/darknet_ros


获取本项目完整教程代码及文档请关注下方二维码

并在公众号后台回复数字“4"






RT-Thread


让物联网终端的开发变得简单、快速,芯片的价值得到最大化发挥。Apache2.0协议,可免费在商业产品中使用,不需要公布源码,无潜在商业风险。





长按二维码,关注我们


点击“阅读原文”进入RT-Thread GitHub

免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

业内消息,近日马斯克旗下 AI 初创企业 xAI 发布新闻稿,宣布正在开源 3140 亿参数的混合专家模型 Grok-1,该模型遵循 Apache 2.0 协议开放模型权重和架构,号称是“迄今为止全球参数量最大的开源大语...

关键字: 马斯克 大模型 开源 OpenAI ChatGPT xAI Grok-1 Grok

开源免专利芯片技术RISC-V成为美中科技战的新战场。华盛顿过去几个月一直在讨论限制中国获取RISC-V技术,认为中国利用RISC-V绕过了美国对华芯片出口管制。上个月众议院一个委员会建议成立一个跨部门政府委员会研究RI...

关键字: RISC-V 开源

众所周知,寒武纪是地球生物大爆发的一个关键期。寒武纪地球气候发生了明显的变化,从冰期转变为了温暖的温带气候,为生物提供了良好的生存环境,从而促进了生物的大量繁殖和多样化,而这种生物学上的进化和开源软件的发展有着异曲同工之...

关键字: 开源 寒武纪 处理器

北京2023年9月22日 /美通社/ -- 华为全联接大会2023期间,华为举办了"昇思MindSpore AI框架:引领大模型&科学智能原生创新"主题论坛,软通动力数字化创新服务线高级副总裁...

关键字: DSP AI 模型 开源

北京2023年9月22日 /美通社/ -- 随着人工智能、云计算等技术的快速发展,算力需求爆发,服务器设计呈现多元异构特征,如何快速适配多种通用计算处理器、多种异构加速器和各类部件,实现服务器高效、稳定、可靠运行,对服务...

关键字: 三星 开源 英特尔 PEN

北京2023年9月18日 /美通社/ -- 9月17日,828 B2B企业节软通动力主题日,第二届软通动力"917转型"企动日峰会以"云上新生态,数智新动力"为主题在北京软通动力总...

关键字: 华为云 数字化 石墨 开源

(全球TMT2023年9月12日讯)近日,2023中国国际数字经济博览会数字雄安论坛在石家庄国际会展中心举办。软通动力子公司鸿湖万联受邀参加本次论坛,软通动力集团高级副总裁、鸿湖万联的总经理秦张波代表鸿湖万联分别与雄安...

关键字: 鸿蒙 开源 操作系统 闸机

北京2023年9月12日 /美通社/ -- 近日,以"智能 绿色 创新 -- 打造未来典范之城"为主题的2023中国国际数字经济博览会数字雄安论坛在石家庄国际会展中心举办。作为开源生态的先锋军,软通动...

关键字: 开源 鸿蒙 操作系统 闸机

深圳2023年9月8日 /美通社/ -- 近日,超算领域国际顶级会刊SC23公布了论文入选名单,由微众银行区块链团队发表的论文——《FISCO-BCOS:An Enterprise-grade Permissioned...

关键字: 区块链 OS 开源 联盟链

北京2023年8月31日 /美通社/ -- "大模型的未来在于行业应用",对此业界已经达成了共识,下一步则是如何将大模型在行业中落地。 于是,我们能够看到,既前一阶段的基础大模型之后,近来又掀起了行...

关键字: 模型 ICT 开源 IDC
关闭
关闭