✨ 1: Meta Lingua

Meta Lingua是一个快速、简约的LLM训练和推理库，旨在促进研究和架构实验。

Meta Lingua 是一个为研究设计的极简和快速的 LLM (大规模语言模型) 训练和推理库。它利用易于修改的 PyTorch 组件，旨在支持新架构、损失函数和数据的尝试。Meta Lingua 的目标是实现端到端的训练、推理和评估，同时提供工具以更好地理解模型的速度和稳定性。虽然 Meta Lingua 仍在开发中，但已经提供了多个应用示例，以展示如何使用这个代码库。

地址：https://github.com/facebookresearch/lingua

✨ 2: bitnet.cpp

bitnet.cpp是一个用于1位大语言模型推理的高效框架，实现了快速无损推理和显著的能效提升。

bitnet.cpp是1-bit大语言模型（LLMs）推理的官方框架，旨在支持如BitNet b1.58等模型的快速且无损推理。它提供了一套优化的内核，能够在CPU上（未来将支持NPU和GPU）高效运行1.58-bit模型。bitnet.cpp的首次发布旨在支持CPU上的推理，并取得了显著的性能提升，尤其是在ARM和x86架构的处理器上，速度提升范围达到了1.37倍到6.17倍，同时能耗降低了55.4%到82.2%。它可以在单个CPU上以每秒5到7个标记的速度运行100B的BitNet b1.58模型，为在本地设备上运行大型语言模型增强了潜力。

地址：https://github.com/microsoft/BitNet

✨ 3: TapeAgents

TapeAgents是一个框架，通过重放日志助力大语言模型代理的开发与优化，支持灵活配置与调试。

TapeAgents 是一个框架，利用结构化和可重放的日志（Tape）来支持 LLM（大语言模型）代理的开发生命周期的各个阶段。在 TapeAgents 中，代理通过处理日志和 LLM 输出生成新的思考、行动和控制流步骤，并将其追加到日志中。环境会根据代理的动作进行反应，同样地将观察步骤追加到日志中。

地址：https://github.com/ServiceNow/TapeAgents

✨ 4: Padel Analytics

Padel Analytics利用计算机视觉技术，从padel比赛录像中提取球员及球的运动数据和分析。

Padel Analytics 是一个利用计算机视觉技术从 pádel 比赛录制中提取有价值见解的项目。该项目能够分析以下内容：

每位球员的位置和速度、球的速度和位置 、2D 比赛投影 、热力图 、与不同击球动作相关的球速 、球员的失误率。

地址：https://github.com/Joao-M-Silva/padel_analytics

✨ 5: ask.py

ask.py 是一个简单的 Python 程序，演示了类似 AI 搜索引擎的搜索、提取和总结流程。

ask.py 是一个简单的 Python 程序，用于实现类似于 AI 搜索引擎的搜索-提取-总结流程，类似于 Perplexity 等工具。其主要目标是展示 AI 搜索引擎的基本概念，而不追求性能或可扩展性。

搜索-提取-总结流程

当用户输入查询时，该程序会： 在 Google 上搜索前 10 个网页。 爬取并提取网页的文本内容。 将文本内容分块并保存到向量数据库中。 根据查询进行向量搜索，找到前 10 个匹配的文本块。 使用这前 10 个文本块作为上下文，向大型语言模型（LLM）提问以生成答案。 输出答案并附上参考文献。

虽然这个流程是一个简化版本，但它为理解 AI 搜索引擎的基本概念提供了良好的起点。该程序的一个优点是可以自定义搜索功能和输出格式，例如，只检索最新信息、搜索指定网站、使用特定语言回答等。

地址：https://github.com/pengfeng/ask.py

更多AI工具，参考国内AiBard123，Github-AiBard123 公众号：每日AI新工具