Visual Sketchpad

Visual Sketchpad 是一个为多模态语言模型设计的框架，旨在通过绘制中间草图来增强模型的推理能力。该框架赋予GPT-4生成辅助线条和标记的能力，以帮助解决复杂的任务，例如几何问题和视觉推理问题。这种方法不仅限于文字作为中间推理步骤，允许模型通过更接近于人类手绘的方式进行推理。Visual Sketchpad 结合了专业的视觉模型，如对象检测模型和分割模型，进一步加强了视觉感知和推理能力。实验表明，Visual Sketchpad 在数学和视觉任务上显著提升了多模态语言模型的表现，在多项基准测试中创造了新的记录。