自然语言控制机械臂：ChatGPT与机器人技术的融合创新（上）

1.引言：

自OpenAI发布ChatGPT以来，世界正迅速朝着更广泛地将AI技术融合到机器人设备中的趋势发展。机械手臂，作为自动化与智能化技术的重要组成部分，在制造业、医疗、服务业等领域的应用日益广泛。随着AI技术的进步，机械手臂不仅能执行复杂的操作任务，还能通过自然语言处理技术进行更加直观的交互，极大提高了灵活性和用户友好性。

就比如说微软的一个人工智能研究中心，研究如何用自然语言来控制机器人设备的一个研究，

所以我想做一个类似的项目，通过允许用户使用自然语言来控制机械手臂，它可以大大降低机器人编程的门槛，使得非专业人士也能轻松地操作和实验。

论文link：

https://www.microsoft.com/en-us/research/uploads/prod/2023/02/ChatGPT___Robotics.pdf

该项目一共分为上下两篇，本篇文章主要内容是整个人工智能系统的设计和构建的过程，未来的下一篇文章将要介绍在开发项目的过程中遇到的而困难，如何解决，以及该项目有什么扩展的性的功能。

2.项目背景与动机：

想象如果有有一天，你命令一个机械臂“帮我收拾一下桌面，将垃圾丢到垃圾桶里”，机械臂就开始听从命令，清理你的桌面的垃圾，那该是多么幸福的一件事情呀。

所以准备工作，我们需要一台小型的机械臂（主要是大的机械臂太贵了），一台能够上网的电脑，以及一颗炙热的心！该项目主要是借鉴微软的那篇改变机器人使用的研究来入手。

3.技术概览：

前提本项目是基于python的环境下进行编译的。

首先我们先来介绍一下本项目会使用到的一些软件层面上技术：

ChatGPT:（整个项目最关键的核心技术）
ChatGPT

ChatGPT是一项人工智能技术，基于GPT(Generative Pre-trained Transformer）模型的架构，GPT是一种基于深度学习的自然语言处理模型，通过大规模的无监督预训练和有监督微调来实现语言理解和生成任务。

换句话来说，你可以简单人理解为你在跟一个知识十分渊博的人进行聊天，你可以对它预设一些角色，例如“”你是一个医生”，你就可以跟他聊医学相关的知识，但是请注意并不是所生成的所有聊天都是正确的需要进行自我判断。

Speech recognition：（搭配处理自然语言必不可少的功能模块）
我们这边使用的是Google的一种语音识别服务，Speech-to-text，它允许开发者将语音转化成文本的形式。并且它也支持多种语言和方言，包括但不限于英语，西班牙语，法语，德语，中文等等，可以满足全球用户的需求。

你可以进行在线的尝试语音转文本：https://cloud.google.com/speech-to-text?hl=en#features

pymycobot：（mycobot 280机械臂的控制功能模块）
GitHub - elephantrobotics/pymycobot: This is a python API for ElephantRobotics product.

pymycobot 是大象机器人专门为了my系列产品的机械臂开发的控制模块，这个功能模块的开发，大大降低了机械臂编程控制的门槛。pymycobot 提供了大量的机械臂的控制接口，例如关节控制，坐标控制，配套的机械臂的夹爪控制等等，对机械臂变成的初学者是相当有好的。

解释这些技术如何合作实现自然语言控制机械手臂的功能。

接下来介绍一下硬件设备：

mycobot 280 M5Stack
mycobot 280 M5Stack 是Elephant Robotics 和M5Stack 合作的一款6自由度的协作性机器人。它外观结构设计小巧精致，一体式全包裹机身设计，采用高精度伺服电机，无任何外漏线缆。mycobot重量只有850g，机械臂末端最大的负载能够达到250g，最大工作半径达到280mm，重复定位精度能够到0.5mm的误差范围内。

4.设计思路与实现过程：

https://www.youtube.com/watch?v=Sq1QZB5baNw&pp=ygUVY2hhdGdwdCBjb250cm9sIHJvYm90

大家可以看一下近期OpenAI发布的一条视频，人跟机器人聊天，机器人来处理自然语言并且生成相对应的动作执行。

也有一些其他的额机械臂也集成了类似的场景。

https://www.youtube.com/watch?v=IGsYgSdrT4Y

我要做的项目就是类似于这个小型版！通过自然语言跟机械臂进行沟通，然后，机械臂执行相对应的指令。

接下来我将要说明项目的过程。

语音识别转文本功能speech-to-text：
为什么要用语音识别转文本功能呢？用过chatgpt的人知道chatgpt有内置的语音聊天的功能，但是我们要集成到PC端和机械臂当中去使用，就不能够使用ChatGPT的web版本，而是要在本地的计算机当中实现，就要用到ChatGPT的API接口。

ChatGPT API的形式的话只能够接收“文本”的形式来使用，所以speech-to-text可以讲我们讲话转化成文本的形式输入到电脑当中。

def speech_to_text():    recognizer = sr.Recognizer()    with sr.Microphone() as source:        print("start speaking...")        audio = recognizer.listen(source)        try:            # text = recognizer.recognize_google(audio, language='zh-CN')            text = recognizer.recognize_google(audio, language='en-US')            print("you said: " + text)            return text        except sr.UnknownValueError:            print("Google Speech Recognition could not understand audio")            return None        except sr.RequestError as e:            print("Could not request results from Google Speech Recognition service; {0}".format(e))            return None

点击自然语言控制机械臂：ChatGPT与机器人技术的融合创新（上） - 古月居 可查看全文