# LLM-Controlled GrabArm

**Repository Path**: advancer-debug/llm-controlled-grab-arm

## Basic Information

- **Project Name**: LLM-Controlled GrabArm
- **Description**: 该项目通过大语言模型实现语音控制机械臂抓取物品，让操作更便捷自然。
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2025-12-15
- **Last Updated**: 2025-12-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README



# LLM 控制的机械臂项目

## 项目简介
该项目实现了一个基于大语言模型 (LLM) 控制的机械臂系统，结合了计算机视觉、语音识别与机械臂运动规划功能。主要功能包括：

- 通过摄像头采集实时图像
- 使用YOLO模型进行物体检测
- 语音识别接收用户指令
- 基于RRT算法的路径规划
- 通过串口通信控制Dobot机械臂执行抓取和放置操作

## 主要组件
- **ArmController**: 机械臂控制类，提供抓取和放置功能
- **FrameManager**: 视频流管理模块，支持多摄像头输入
- **Detect**: 基于YOLO的目标检测模块
- **RRT**: 路径规划算法模块
- **XfyunSpeechRecognizer**: 语音识别接口
- **SerialReceiver**: 串口通信模块
- **SparkAPI**: 与LLM交互的API接口

## 安装依赖
```bash
pip install opencv-python pyserial numpy
```

## 使用方法
1. 连接机械臂至指定串口并配置好波特率
2. 启动摄像头
3. 运行main.py开始系统
4. 通过语音指令控制机械臂完成抓取任务

## 示例代码
```python
from arm import ArmController

# 初始化机械臂控制器
arm = ArmController(port="COM9", baudrate=115200)

# 获取当前机械臂位姿
pose = arm.get_pose()

# 执行抓取放置操作
arm.grasp_place(start_pos=(100, 100, 50), target_pos=(200, 200, 50))

# 释放资源
arm.close()
```

## 注意事项
- 确保Dobot机械臂固件版本兼容
- 需要YOLO模型权重文件
- 语音识别模块需要网络连接
- 控制指令通过串口通信发送至机械臂

## 目录结构
- src/ : 核心代码模块
- voice/ : 语音资源文件
- scripts/ : 辅助脚本文件

## 版权信息
本项目遵循MIT License。详情请查看LICENSE文件。