AI新工具(20240718) GPT-4和Whisper从长视频生成短视频;AI治好了我的拖延症;GraphRAG技术集成到Open WebUI;两个开源LivePortrait实现
✨ 1: AI Youtube Shorts Generator
AI Youtube Shorts Generator是一款利用GPT-4和Whisper从长视频生成短视频的Python工具。
AI YouTube Shorts Generator 是一个Python工具,旨在从长视频中生成引人入胜的YouTube短视频。通过利用GPT-4和Whisper的强大功能,它可以提取最有趣的亮点,检测视频中的发言者,并将内容垂直裁剪以适应短视频格式。当前版本为0.1,可能存在一些漏洞。
视频下载:提供YouTube URL后,工具会下载视频。 转录:使用Whisper将视频内容转录为文本。 亮点提取:利用OpenAI的GPT-4识别视频中最有趣的部分。 发言者检测:检测视频中的发言者。 垂直裁剪:将提取的亮点部分垂直裁剪,适合用于短视频。
地址:https://github.com/SamurAIGPT/AI-Youtube-Shorts-Generator
✨ 2: GraphRAG4OpenWebUI
GraphRAG4OpenWebUI将微软的GraphRAG技术集成到Open WebUI,实现高级信息检索功能。
GraphRAG4OpenWebUI 是一个专为 Open WebUI 设计的 API 接口,旨在集成微软研究的 GraphRAG (基于图的检索增强生成) 技术。该项目提供了一个强大的信息检索系统,支持多个搜索模型,尤其适用于开放网页用户界面中的信息检索。
本地搜索
- 使用 GraphRAG 技术高效检索本地知识库
- 适用于快速访问预定义的结构化信息
- 利用图结构提高检索准确性和相关性
全球搜索
- 在更广泛的范围内搜索信息,超越本地知识库
- 适用于需要更全面信息的查询
- 利用 GraphRAG 的全球上下文理解能力提供更丰富的搜索结果
Tavily 搜索
- 集成外部 Tavily 搜索 API
- 提供额外的互联网搜索功能,扩展信息来源
- 适用于需要最新或广泛网页信息的查询
全模搜索
- 结合上述三种搜索方法
- 提供最全面的搜索结果,满足复杂的信息需求
- 自动集成和排名来自不同来源的信息
地址:https://github.com/win4r/GraphRAG4OpenWebUI
✨ 3: ProctorAI
ProctorAI是一款多模态AI,监督屏幕并提醒用户停止拖延,提升工作效率。
ProctorAI 是一个多模态的人工智能系统,通过监视用户的电脑屏幕来检测他们是否在拖延。当检测到用户没有专注时,ProctorAI 会接管屏幕并发送个性化的提醒消息,要求用户停止拖延。用户需承诺改正行为,否则 ProctorAI 将持续打扰。
ProctorAI 依靠每隔几秒(基于设置的时间间隔)截取屏幕并将其输入到多模态模型(例如 Claude-3.5-Sonnet、GPT-4o 或 LLaVA-1.5)中进行分析。与传统的站点拦截器相比,ProctorAI 更智能,能够理解和处理复杂的工作流程规则。例如,它可以允许用户访问 YouTube,但只限于观看特定的学习视频。
学习和工作时保持专注:适合需要在电脑上进行大量学习或工作的用户,通过监督减少对社交媒体或娱乐内容的过度依赖。 远程工作的自我管理:特别适合远程工作者,以确保在没有外界监督的情况下保持工作效率。 在线考试监控:能够模拟考试监考情况,避免用户在考试期间频繁分心或作弊。 项目开发和编程:开发者在写代码时容易被各种网站或应用分散注意力,ProctorAI 可以帮助他们保持专注,提高生产力。
ProctorAI 的最终目标是变得“活灵活现”,让用户感到如同有人时刻监督,从而减少拖延,提高效率。未来的开发方向包括改进对特定任务的模型微调、会话调度、数据记录与时间跟踪,以及为用户提供更好的任务管理和统计信息。
地址:https://github.com/jam3scampbell/ProctorAI
✨ 4: FasterLivePortrait
FasterLivePortrait利用TensorRT在RTX 3090上实现真人肖像实时生成,速度达30+ FPS。
FasterLivePortrait 是一个能够在实时环境下将肖像照片进行动画处理的技术。该项目是基于 LivePortrait 的原始代码并进行了许多优化。
FasterLivePortrait 项目通过一系列优化,实现了高性能和实时运行,是将静态肖像照片转化为动态视频的开创性技术,适用于多种应用场景和部署环境。
地址:https://github.com/warmshao/FasterLivePortrait
✨ 5: Webcam Live Portrait
Webcam Live Portrait 是一个开源项目,用于实时生成人像动态效果。
Webcam Live Portrait是一个能够实现实时人像生成和动画的开源项目。这个项目的主要功能是通过摄像头捕捉用户的面部表情和动作,然后将这些信息实时地应用到预定义的人物画像上,使画中的人物按照用户的面部表情和动作进行动态展示。
该项目的核心技术包括计算机视觉和深度学习,通过分析摄像头捕捉到的画面来识别面部关键点和表情变化。用户可以通过这个项目实现一些有趣的应用,如实时视频聊天中的表情替换、生动的虚拟化身等。
地址:https://github.com/Mrkomiljon/Webcam_Live_Portrait/blob/main/readme.md
更多AI工具,参考国内AiBard123,Github-AiBard123 公众号:每日AI新工具
广告:私人定制视频文本提取,字幕翻译制作等,欢迎联系QQ:1752338621