NVIDIA Generative AI Examples

NVIDIA Generative AI Examples提供了一套易于部署、测试和扩展的最新生成式AI示例。这些示例运行在高性能的NVIDIA CUDA-X软件栈和NVIDIA GPU上，覆盖了多样化的功能，从简单的问答聊天机器人到复杂的企业级RAG（检索增强生成）管道等。这些建立在NVIDIA NGC AI开发目录资源之上，用户可通过注册免费的NGC开发者账号来访问GPU优化的容器、发布说明以及开发者文档。

使用场景举例

• 开发环境下的简单实验：开发者可以在单个虚拟机（VM）上运行RAG示例，将NVIDIA GPU加速与流行的大语言模型（LLM）编程框架结合起来，通过Docker Compose轻松部署。例如构建问答聊天机器人，支持本地和远程推理。

• 企业级应用部署：更复杂的环境，如在多个虚拟机和GPU上分布式运行的微服务，展示了如何用Kubernetes进行RAG管道编排，并使用Helm进行部署。这些示例适用于需要高度可扩展和管理LLM生命周期的企业场景。

• LLM开发与生产力提升：提供了工具和教程，比如使用合成数据生成和LLM评判的RAG评估工具，以及用于监控和调试RAG管道的可观测性工具，通过Docker compose文件进行部署。

具体用途

具体来说，NVIDIA Generative AI Examples可以被应用于以下情境中：

• 问答聊天机器人：基于不同的模型（如llama-2或mixtral_8x7b）和框架（如Llamaindex或Langchain），构建能回答各种问题的聊天机器人。这些机器人可以在不同的配置下运行，支持单GPU或多GPU部署，理论上可以适用于从个人项目到大型企业的需求。

• 多模态数据嵌入：某些示例展示了如何嵌入多模态数据（比如文档、图片和视频）到数据库，并通过LLM进行检索。这对于需要处理和理解多种类型数据的系统特别有用。

• 进阶开发案例：高级使用者可能对包含任务分解代理的QA聊天机器人或基于NVIDIA AI基础模型的简易RAG示例感兴趣。这些案例展示了利用生成式AI在解决复杂问题时的强大能力。