✨ 1: FineWeb 2

FineWeb 2 是一个多语言高质量预训练数据集，支持超千种语言，为模型训练提供丰富数据。

FineWeb 2是流行的FineWeb数据集的第二个版本，旨在为超过1000种语言提供高质量的预训练数据。该数据集的核心由非英语数据构成，并经过多语言处理管道的严格调整，以满足不同语言的特性。主要处理步骤包括语言识别、去重、过滤以及个人身份信息（PII）的匿名化与修复。

FineWeb 2的数据集广泛适用于多种自然语言处理任务，如机器翻译、文本分类、语言模型预训练等。它尤其适合需要处理多语言和多样化语言来源的项目，促进更全面的模型训练和评估。此外，FineWeb 2也为开发者和研究人员提供了一个检验新算法和技术的平台，以提高多语言处理的普遍性和性能。

地址：https://github.com/huggingface/fineweb-2

✨ 2: Hands-on quantum

本课程通过动手实践，教授谷歌量子AI的量子错误纠正基础知识，适合中级学习者。

《Hands-on Quantum Error Correction with Google Quantum AI》是一个旨在为初学者和经验丰富的研究者提供量子计算和量子错误校正的在线课程。该课程由德克·奥斯汀·福勒博士（Dr. Austin Fowler）授课，计划于2024年12月10日开课，预计需要29小时完成，分为3周，每周约9小时。

课程内容包括量子计算技术概述、量子态和电路、量子错误及其检测、稳态和表面码的数学形式，最后介绍了当前在研究中使用的软件工具Stim和Crumble。学员将在课程结束时有能力实现表面码，并利用Stim库进行多次代码模拟，从而评估实现稳健错误校正所需的理论硬件错误率。

课程包括9个视频、8个作业和2个非评分实验，旨在帮助学员掌握量子计算和错误校正的基本知识与技能。课程以英语授课，适合具有初级Python背景的学员。学员可以根据自身进度灵活学习。

地址：https://www.coursera.org/learn/quantum-error-correction

✨ 3: LangGraph RAG Research Agent Template

LangGraph RAG Research Agent 模板是一个用于开发研究代理的起始项目，旨在便捷处理文档索引与查询。

LangGraph RAG Research Agent Template 是一个帮助用户使用 LangGraph 开发 RAG（Retrieval-Augmented Generation）研究代理的启动项目。该项目在 LangGraph Studio 中进行开发，包含三个主要图表：

索引图（Index Graph）：负责接收文档对象并进行索引。 检索图（Retrieval Graph）：管理用户的聊天历史，并基于获取的文档进行响应。 研究者子图（Researcher Subgraph）：作为检索图的一部分，负责根据用户查询生成研究计划并进行相关文档的检索。

通过定制和扩展该模板，用户可以根据具体需求调整检索和响应模型，从而构建满足特定应用场景的 RAG 研究代理。

地址：https://github.com/langchain-ai/rag-research-agent-template

✨ 4: pleias_ScholasticAI

ScholasticAI是一个多功能工具，旨在实现检索增强生成（RAG）。它允许用户上传和分析本地的PDF文件，提取精确的信息，并基于文档中的高保真引用使用生成式AI生成答案，同时还可以查询外部知识数据库，如OpenAlex的2.5亿多文档。该应用程序的核心是pleias-Pico（350M），这是Pleias自有AI基础模型系列的成员，专为RAG任务优化，符合欧洲AI法案，并且完全开源（包括权重、语料和代码）。

该应用程序特别设计为在没有GPU的情况下本地高效运行，适用于普通的笔记本电脑或台式机，使用的是性能卓越、轻量化的模型。虽然ScholasticAI主要用于处理研究文章，但也可用于处理其他类型的PDF文件。

地址：https://github.com/Pleias/pleias_ScholasticAI

✨ 5: Flow Matching

Flow Matching是一个基于PyTorch的库，提供连续与离散流匹配算法的实现，适用于文本和图像。

Flow Matching 是一个基于 PyTorch 的库，专注于实现流匹配算法，包括连续和离散两种实现方式。该库不仅提供了功能强大的核心库，还包含针对文本和图像模态的示例，旨在帮助研究者和开发者更容易地应用这些算法。该库的详细信息和代码示例可以在其指南和代码库中找到。

通过这些应用，Flow Matching 能够帮助研究人员解决复杂的生成模型问题，并推动数据驱动的研究与开发。

地址：https://github.com/facebookresearch/flow_matching

更多AI工具，参考国内AiBard123，Github-AiBard123 公众号：每日AI新工具