ThinkGrasp

ThinkGrasp是一个由波士顿东北大学和波士顿动力AI研究所开发的视觉语言抓取系统，旨在解决杂乱环境中的抓取挑战。该系统利用GPT-4o的高级上下文推理能力，通过目标导向的语言指令引导移除遮挡物体，逐步显露并最终抓取目标对象。ThinkGrasp通过LangSAM和VLPart进行图像分割，并采用迭代闭环流程，从而在模拟和真实实验中表现出高成功率和强大的泛化能力。与先进的抓取方法相比，ThinkGrasp在处理繁杂场景和多种未见物体时显著优越，能够有效应对障碍和复杂排列的挑战。该系统可以轻松集成到不同的机器人平台中，展示了在6-DoF两指夹持器中的强大适应性和通用性。研究结果表明，ThinkGrasp在繁杂环境中对目标物体的识别和抓取具有高成功率，但仍需进一步提高单图像数据的质量及抓取位置稳定性。