Python计算机视觉和自然语言处理

第9章　机器人的计算机视觉

学习目标

阅读完本章之后，你将能够：

• 使用人工视觉技术进行物体评估；
• 在ROS中集成外部框架；
• 通过机器人与物体进行交互；
• 创建一个能够理解自然语言的机器人；
• 开发端到端的机器人应用。

本章会介绍如何利用Darknet和YOLO进行开发；还会介绍如何使用AI对物体进行评估，如何集成YOLO和ROS，从而让虚拟机器人能够预测虚拟环境中的物体。

9.1　简介

前面各章介绍了许多有助于解决实际问题的概念和技术。本章会使用前面所学的这些知识，构建一个端到端的机器人应用。

本章会使用深度学习框架Darknet来构建能够进行实时物体识别的机器人，并将该框架集成到ROS中，以便让最终的应用适用于任何机器人。此外，物体识别能够用来构建各种不同类型的机器人应用，这一点非常重要。

本章构建的端到端应用不仅具有学术价值，而且在实际问题和生活中也能派上用场。读者甚至可以根据实际情况来调整应用的功能，从而增加使用机器人解决现实问题的机会。

9.2　Darknet

Darknet是一个开源的神经网络框架，使用C语言和CUDA编写。由于利用了GPU和CPU进行计算，Darknet的计算速度非常快。Darknet是由约瑟夫·雷德蒙（Joseph Redmon）开发的，他是一位致力于人工视觉的计算机科学家。

Darknet涵盖了许多有趣的应用，但本章不会介绍所有功能。下面列举了Darknet的一些功能。

• ImageNet分类：这是一个图像分类器，使用诸如AlexNet、ResNet和ResNeXt之类的模型，对一些ImageNet图像进行分类，然后根据时间、准确度、权重等因素，对这些模型进行对比。
• RNN's：循环神经网络用来生成和管理自然语言。这些模型使用一种叫作vanilla ...