电脑本地连按怎么样安装(chatgpt 本地安装教程)
#头条创作挑战赛#
介绍
事件正在迅速展开，新的大型语言模型(LLM)正在以越来越快的速度开发。就在过去几个月，我们有了颠覆性的ChatGPT和现在的GPT-4。明确定义，GPT代表（GenerativePre-trainedTransformer），是底层语言模型，而ChatGPT是为会话设计的具体实现。比尔·盖茨(BillGates)回顾OpenAI的工作时说，“人工智能时代已经开始”。如果您感到难以跟上快速变化的步伐，那么您并不孤单。就在刚才，超过1000名研究人员签署了一份请愿书，要求在未来六个月内暂停训练比GPT-4更强大的AI系统。
尽管技术成就显著，但它们仍然是闭门造车。尽管它的名字，OpenAI长期以来一直受到一些人的批评，因为它没有发布他们的模型，甚至被一些人称为ClosedAI。研究人员和爱好者都在努力寻找开源替代品。
如果您错过了最近的发展，您应该查看Meta的LLaMA(GitHub)，它应该优于GPT-3。它是在GNU许可下获得许可的，虽然它不是严格开源的，但您可以在注册后获得权重。这种开放显然是为了LLaMA的利益，社区很快就继续开发它。它很快以llama.cpp的形式移植到C/C++，斯坦福大学的研究人员将其扩展到一个指令跟随模型，例如ChatGPT，并将其命名为Alpaca。还有GPT4All，这篇博文是关于它的。我将很快介绍它，最后，您将了解如何在本地运行它以及会发生什么。
但首先，让我们反思一下社区在短时间内开发开放版本的速度有多快。为了了解这些技术的变革性，下面是各个GitHub存储库的GitHub星数（衡量受欢迎程度）。作为参考，流行的PyTorch框架在六年内收集了大约65,000颗星。下面的图表是大约。一个月。
GPT4全部
但是现在，让我们更深入地介绍GPT4All。这是NomicAI的助手式聊天机器人，刚刚公开发布。如何基于现有的语言模型（如LLaMA）创建类似ChatGPT的助手式聊天机器人？答案可能会让您大吃一惊：您与聊天机器人互动并尝试了解它的行为。就gpt4all而言，这意味着从公开可用的数据源收集各种问题和提示样本，然后将它们交给ChatGPT（更具体地说是GPT-3.5-Turbo）已生成806,199个高质量的提示生成对。接下来，整理数据并删除低多样性响应，并确保数据涵盖广泛的主题。训练数据后，他们发现他们的模型比同类产品表现更好。
对我来说，其中一个主要吸引力在于作者发布了模型的量化4位版本。这是什么意思？实际上，您在模型中以较低的精度而不是全精度执行某些操作，因此可以拥有更紧凑的模型。虽然像ChatGPT这样的模型在Nvidia的A100等专用硬件上运行，这是一款配备高达80GBRAM的硬件怪兽，价格为15,000美元，但对于GPT4All，这意味着您可以在消费级硬件上执行该模型。现在，让我们开始运行您自己的：
设置东西
运行GPT4All的说明很简单，只要您安装了正在运行的Python。只需按照GitHub存储库上的设置说明进行操作即可。https://github.com/nomic-ai/gpt4all
下载量化检查点（请参阅自己尝试）。这是4.2Gb的大小，我以1.4Mb/s的速度下载它，所以这需要一段时间克隆环境将检查点复制到chat设置环境并安装要求跑步
我在M1MacBookPro上对此进行了测试，这意味着只需导航到chat-文件夹并执行./gpt4all-lora-quantized-OSX-m1.
这一切应该只花你几分钟。就我而言，下载是最慢的部分。在我的机器上，结果是实时返回的。
结果
现在，准备运行的GPT4All量化模型在基准测试时表现如何？虽然有详尽的基准测试集，但以下是您可以预期的一些快速见解：
虽然有一些明显的错误（NLP->NLU），但实际上我对输出感到非常惊讶。
让我们尝试一些更有创意的东西，比如诗歌：
我发现这确实非常有用——同样，考虑到这是在MacBookPro笔记本电脑上运行的。虽然它可能不在GPT-3.5甚至GPT-4级别，但它肯定有一些魔力。
使用注意事项
使用GPT4All时，请牢记作者的使用注意事项：
“GPT4All模型重量和数据仅用于研究目的并仅获得许可，禁止任何商业用途。GPT4All基于LLaMA，具有非商业许可。辅助数据是从OpenAI的GPT-3.5-Turbo收集的，其使用条款禁止开发与OpenAI进行商业竞争的模型。”
此外，请注意ChatGPT具有多项安全功能。
结论
开源项目和社区努力在实施技术和加速创意方面非常强大。GPT4All就是一个显着的体现。从根本上说，我认为这为闭源模型的业务方面提供了一个有趣的视角。如果您提供AI作为服务，那么需要多长时间才能让爱好者对您的AI进行足够长的探索以能够模仿它？对于GPT4All的案例，他们的论文中有一个有趣的注释：他们花了四天的时间，GPU成本800美元，OpenAIAPI调用500美元。这绝对是非凡的。