作者： 智元新知 来源： 智元新知

大家好，今天继续聊聊科技圈发生的那些事。

一、EchoMimic

EchoMimic 是一个能够通过音频和选定的面部关键点生成肖像视频的项目。仅需一张图片，一段音频，就可以生成一段数字人视频。

对于传统的方案来说，仅使用音频驱动的方法有时会因音频信号相对较弱而不稳定，而仅使用面部关键点驱动的方法虽然较稳定，但有时会导致生成的视频不自然，因为对关键点信息进行了过多的控制。而 EchoMimic 能够不仅单独使用音频或面部关键点生成肖像视频，还能结合两者进行生成。

时代不同，我也只在长辈的三言两语中听闻过天后邓丽君曾经的才华满溢，却从未亲自感受。借助这个强大的项目，我们可以一睹天后的芳容。

或者，听听石雕小姐倾情演唱的《如愿》：

项目支持多语言，目前包括中英双语。不仅仅是唱歌，在朗读等普通的说话场景，EchoMimic 也能有很好的表现。

EchoMimic结合了两种传统的肖像动画技术的驱动方式，实现了更加优秀的视频效果。目前项目已开源，感兴趣的小伙伴可以关注看看。

项目地址：

https://github.com/BadToBest/EchoMimic

好了，本期的内容就是这么多，我们下期再见！

二、Mem0

对话拉得好长好长，你是否还记得我最开始说了啥？

如果你平时的生活中老和 ChatGPT 等大模型打交道，那你一定碰到过这样的问题：你试图让大模型帮你修程序中的bug，那么在与模型对话出了很多个版本之后，模型回复的越来越慢，且记忆开始出现混乱，甚至可能并不记得先前某个版本的特点。那么应另起炉灶，新开一个对话，还是苦苦忍受，守住当前这段饱含记忆的对话？

现在，Mem0 为 LLM 提供了一个能自我改进的智能记忆层，能有效解决长短期记忆带来的问题。

Mem0 有以下几个主要特点：

• 多层次记忆：支持用户、会话和AI代理的记忆保留

• 自适应个性化：基于交互，可持续改进

• 开发人员友好的API：可与各种应用程序轻松集成

• 跨平台一致性：不同设备、不同平台上可保持行为的一致性

• 托管服务：便于部署和维护

因此，Mem0 可以较为灵活地应用在以下几个方面：虚拟伴侣，医疗助手，游戏助手等。作者在项目的文档中，给出了几段示范代码，使用了 Mem0 的 API 制作了三个能落地的小应用，分别是个性化人工智能导师，客户支持的人工智能代理，旅行私人AI助理。看了看代码量，确实很简洁。

那么有的朋友可能会问，如果我要保持一个长期记忆，我将需要储存记忆的内容写好，喂给大模型做 RAG 不就好了？

实际上，Mem0 绝不是 RAG 的同位或上下位替代品，二者可以相辅相成。首先，Mem0 与 RAG 在 LLM 记忆实现上就有着显著区别。Mem0 能够理解和关联不同互动中的实体，提供更深入的上下文理解；它优先考虑最近的互动，并逐渐遗忘过时信息，保持记忆的时效性和相关性。同时能跨会话保留信息，保持对话连续性。此外，Mem0 通过用户互动和反馈不断改进个性化水平，实时动态更新记忆，提升用户体验。相比之下，RAG则主要从静态文档中检索信息，缺乏 Mem0 的上述动态和个性化特性。因此，我们可以将 Mem0 作为 RAG 的辅助方案，实现更全能的私人 AI 助手。

这个项目目前已开源，且在开源后短短一天内就斩获了1w+的star。Mem0 便于上手，功能强大，感兴趣的小伙伴可以关注一下。

项目地址：

https://github.com/mem0ai/mem0

三、IMAGDressing

你是否想象过，梅西穿上科比的24号球衣在绿茵场上奔跑，詹姆斯穿上巴西战袍在镜头前耍帅？

通过 IMAGDressing，一款全新的虚拟试衣系统，你就可以让这些“隔行如隔山”的体育明星们互换球衣了。

IMAGDressing 旨在提供灵活和可控的定制虚拟试衣系统。它包括一个服装UNet，从CLIP中捕获语义特征，从VAE中捕获纹理特征，并结合了一个混合注意力模块，其中包括一个冻结的自注意力和一个可训练的交叉注意力，整合到一个冻结的去噪UNet中，以确保用户可控的编辑。项目发布了一个包含超过30万对服装和穿着图像的全面数据集IGPair，并建立了标准的数据组装流水线。

这个应用的特点是，架构简单，易于用户驱动；定制迅速，无需额外的Lora训练；支持各种插件，包括但不限于我们已经很熟悉的IP-Adapter、ControlNet、AnimateDiff等。

当你克隆了项目仓库后，你会发现，完全不需要调用什么API，作者已经把写好的程序喂到嘴边了。比如你要使用“随机人脸和姿势穿戴指定衣服”这个功能，你只需要运行这段代码：

python inference_IMAGdressing.py --cloth_path [你的衣服路径]  

相同的用法，项目目前提供了以下几个功能，都是一行代码即可使用：

• 随机人脸和姿势穿戴指定衣服

• 随机人脸使用给定姿势穿戴指定服装

• 指定人脸和姿势穿戴指定服装

• 指定模特穿戴指定服装（实验性功能）

• 生成卡通风格图像（实验性功能）

相比起之前的各种虚拟试衣项目，IMAGDressing 的上手门槛可谓是十分的低，效果也很不错。项目已开源，感兴趣的小伙伴可以自行体验一下。

项目地址：

https://github.com/muzishen/imagdressing

·················END·················

####推荐阅读

• 绝了，电脑被监控了！还怎么摸鱼？• 又火两个惊艳的AI项目，已开源！• 大模型集体失智！9.11比9.9大？全员翻车！

更多AI工具，参考Github-AiBard123，国内AiBard123