简单几步微调Llama3大模型，小白轻松上手
作者： 古哒哒研究所 来源： 古哒哒研究所
这是面向小白用户的一个超级简单的微调大模型示例，通过这个例子将得到一个速度翻倍，并可以包含自己业务知识数据的微调后llama3模型，可用于本地部署构建私有化的AI智能体。very 的 nice
首先请准备好google账号和网络环境，这个示例基于goolge colab的免费算力完成。
https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp?usp=sharing
使用浏览器打开上方链接
将点击copy to Drive复制笔记到自己账号下的网盘，点击之后弹出新窗口
我们就在这个弹出的新窗口操作，界面都是英文不多解释，跟着操作就好
点击第一个运行小箭头，安装基础环境，要稍等片刻的时间
运行结束后左侧会出现一个绿色小勾
环境安装好就开始微调训练，继续运行第二段代码，代码中默认的加载llama3，不需要做任何修改直接执行，点击三角符号按钮
点击运行之后开始下载模型和一些必要的文件，速度很快
片刻之后出现绿色小勾就是运行完成
然后继续向下，执行第三段代码
这一段一秒钟就OK了，继续向下运行第四段代码加载训练数据集，我们还是使用笔记中的默认数据集。先把所有默认设置跑通拿到一个微调后的模型，以后替换其他模型，使用自己的数据集都是换换参数的事情，今天就来最简单的，一路点击就OK
老规矩还是出现绿色小勾表示运行结束
这个数据集我下载到了本地，主要就是为了截个图给大家看一下，一共25W行，json结构的数据
后期使用自己的数据进行微调，按照这个格式整理好就可以，关于私有数据集的清洗和格式化这就不展开讲了。
环境，模型，数据集都加载完成了，接下来就是训练时间了
继续向下执行代码，配置一些必要的参数
出现小绿勾完成后，继续向下
下面这一段就是看一下当前可用的内存
这里正式开始训练:根据上面设置的默认参数，训练一共60步，需要稍候片刻，在这段等待的时间里你就需要开始思考一个问题，一万个人类中有几个人微调过大模型，而你即将在片刻之后成为那个万中无一的人
7分36秒，运行完成
接着向下，运行一下打印过程信息的代码
然后就可以和我们微调过的大模型对话了，笔记中默认给了一个问题，生成斐波那契数列，它的参数结构是不是跟我们的数据集结构一样的，这里你可以编辑代码用数据集指令替换掉默认指令，观察一下微调后的结果
公众号后台发送 “数据集” 获取数据集下载链接
接下来下面的代码还是一段打印斐波那契数列的代码，不同的是这是一段流式输出的示例，就是我们常见的一边生成一边输出
到这里，模型的微调就完成了，也测试了可以正常的运行
接下来将微调结果保存为lora模型，默认名称lora_model
保存之后我们加载保存的模型测试一下
在这段代码中可以反复的修改提示词然后执行，来测试不同的结果。
整个微调的过程就基本完成了，可以看出并不是那么复杂，虽然很多小白同学全程不懂在运行什么，但中间没有出错，得到了正确的结果。
今天的主题是只带过程不讲细节，之后计划做一篇详细的本地微调大模型，自定义数据集，并结合第三方框架搭建私有智能体应用
Kimi等六家国产大模型API免费用，Llama3瞬间不香了
SuperDuperDB：一行代码将任何AI模型与公司业务数据库集成
Chat-GPT一站式解决方案：从注册到使用免翻墙 & 免接码
Perplexity AI：平替GPT4 New Bing，真的很好用
####加微信不失联
分享Chat-GPT、Stable Diffusion等AI工具最新玩法和EXCEL、RPA自动化办公的高级应用
更多AI工具，参考Github-AiBard123，国内AiBard123
