AI新工具(20240506) 大模型模型简化机器人训练;简单易用的 3D 工具Project Neo;特斯拉放出了擎天柱机器人最新训练视频
✨ 1: DrEureka
利用大语言模型自动化将机器人仿真环境训练结果转移到真实世界
DrEureka是一种利用大型语言模型(LLMs)自动化和加速从仿真(sim)到现实世界(real)转移的技术。在机器人技能学习领域,直接在现实环境中训练机器人代价昂贵且效率低下。相比之下,首先在模拟环境中训练,然后将训练好的策略迁移到真实世界(即所谓的sim-to-real转移),是一种更为高效和可行的策略。但是,传统的sim-to-real方法需要手动设计和调整任务奖励函数及模拟物理参数,这一过程既慢又需要大量人力。这就是DrEureka研究工作的意义所在:它尝试用大型语言模型来自动化这一过程。
地址:https://github.com/eureka-research/DrEureka
✨ 2: Neo
Adobe 发布了一个简单易用的 3D 工具Project Neo
通过3D技术,Project Neo能够为原本平面的2D图像添加立体效果。
能够快速的为图标、动画插图创建独特的3D形状。
通过简单的操作,你可以在几分钟内完成图标、插图设计,极大地提高了工作效率。
地址:https://labs.adobe.com/projects/project-neo/
✨ 3: Optimus
特斯拉放出了擎天柱机器人最新训练视频
Optimus是特斯拉(Tesla)开发的一款通用型人形机器人,视频中的机器人正在分拣电池,还可以看到Optimus的训练过程。
地址:https://twitter.com/Tesla_Optimus
✨ 4: VILA
英伟达发布的模型,通过大规模的图像-文本数据进行预训练,从而实现视频理解和多图像理解能力。
VILA是一种视觉语言模型(Visual Language Model,简称VLM),它通过大规模交错的图像-文本数据进行预训练,从而能够实现视频理解和多图像理解的能力。它特别适合于视频内容的分析、多图像间关系的推理,以及图像和文本信息的融合处理。
它的应用场景广泛,特别适合视频内容分析、互动教学、安全监控和医学影像分析等领域。通过AWQ技术的支持,VILA还可以在各种设备上高效运行,为实时图像和视频处理提供了可能。
地址:https://github.com/Efficient-Large-Model/VILA
✨ 5: Core ML Stable Diffusion
一个在苹果平台设备上高效运行Stable Diffusion模型的解决方案
Core ML Stable Diffusion 是一个允许开发者在苹果硅芯处理器(Apple Silicon,即搭载了 M1 或 M系列芯片的设备)上运行Stable Diffusion模型的功能。这一功能通过Core ML来实现,Core ML 是苹果公司的一个机器学习框架,使得应用可以更高效地在苹果设备上运行机器学习模型。 适用于需要在应用中集成高级图像生成功能的开发者。通过利用苹果硅芯片的强大机器学习能力,开发者可以为用户提供快速、高效、在设备上直接处理的图像生成体验。
地址:https://github.com/apple/ml-stable-diffusion
更多AI工具,参考国内AiBard123,Github-AiBard123
广告:私人定制视频文本提取,字幕翻译制作等,欢迎联系QQ:1752338621