台式电脑

游戏电脑跑图怎么样(在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题)

在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题

不管被动还是主动,大模型,AIGC,ChatGPT,StableDiffusion,MidJourney等等名词在大家的新闻列表里狂轰滥炸,经历了上半年的惊喜、恐慌、期待和担忧之后,AIGC现今已不是天降福音或者天网再临,人们开始正视它,理解它,适度利用它。

当然,这一轮AIGC浪潮主要发生在云端,无论是ChatGPT,还是文心一言,通义千问这类大语言模型应用,亦或是MidJourney这类AI生成图片的应用,还有不少像Runway这样AI生成视频的应用,都需要联网,因为AI计算都发生在千里之外的云端服务器上。

毕竟一般而言,服务器端能够提供的算力和存储,要远大于电脑端和手机端,但情况也并非绝对,响应快,无需联网的端侧AI毫无疑问是另一个趋势,和云端AI能够相互互补。

在前不久的小米年度演讲中,小米创始人雷军表示,小米AI大模型最新一个13亿参数大模型已经成功在手机本地跑通,部分场景可以媲美60亿参数模型在云端运行结果。

虽然参数量不太大,但说明了大模型在端侧的可行性和潜力。

在算力大得多的PC端,是否也有端侧大模型等AIGC运用的可行性和潜力呢?8月18日,英特尔举办了一场技术分享会,着重分享了2个方面的信息:英特尔锐炫显卡DX11性能更新,并推出全新英特尔PresentMonBeta工具,以及展示英特尔在AIGC领域的进展。

在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题

去年英特尔锐炫台式机产品发布时,就承诺过英特尔锐炫显卡会持续优化升级,带来更出色的体验。

在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题

通过最新GameOn驱动的发布,英特尔锐炫显卡在运行一系列DX11游戏的时候,能够获得19%的帧率提升,以及平均约20%的99thPercentile帧率流畅度提升(相较于首个驱动版本)。此前购买使用过英特尔锐炫A750显卡的用户,可以直接下载最新驱动,在《守望先锋2》、《DOTA2》、《ApexLegends》等游戏中获得体验升级。

对于在显卡选择上有点犹豫的用户来说,1700元档位上的锐炫A750显卡也成为了颇有竞争力的选择。

在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题

PresentMonBeta则是英特尔推出的图形性能分析工具,提供了Overlay(叠加视图)等功能,可以在运行游戏时在屏幕上显示性能数据,帮助玩家实时遥测GPU的电压和温度等,实时分析大量信息。同时也可以查看99thPercentile帧时间与GPU占用率图表。

另外,PresentMonBeta也带来了名为「GPUBusy」的全新指标。这里可以解释一下,用户通过它可以看到GPU实际使用了多少时间进行实际渲染而不是处于等待状态,或者在运行游戏的PC是否处于CPU和GPU平衡。

游戏是PC永恒的主题,而AI则是新晋的主题。

实际上,这一轮AIGC浪潮发生的主阵地设备,就是PC,无论是ChatGPT,还是MidJourney,或者StableDiffusion等等应用,包括基于大模型的微软OfficeCopilot,亦或是金山办公的WPSAI,都是在PC上才可以获得更好的体验。

但PC相较于其他设备,诸如手机,平板和优势,不仅在于屏幕更大,交互输入更高效,还在于芯片性能。

在英特尔谈PC上的AIGC之前,我们关注到PC端侧跑AIGC,往往就是用高性能游戏本去跑图,但轻薄本往往被排除在外。

现在,英特尔明确表示了,基于英特尔处理器的轻薄本能跑大模型,也可以跑大模型和StableDiffusion。

游戏电脑跑图怎么样(在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题)

英特尔基于OpenVINOPyTorch(英特尔推出的一个开放源码工具包,旨在优化深度学习模型的推理性能,并将其部署到不同的硬件平台上)后端的方案,通过PytorchAPI让社区开源模型能够很好地运行在英特尔的客户端处理器、集成显卡、独立显卡和专用AI引擎上。

比如开源的图像生成模型StableDiffusion(具体讲,是Automatic1111WebUI)就可以通过这种方式,在英特尔CPU和GPU(包括集成显卡和独立显卡)上运行FP16精度的模型,用户实现文字生成图片、图片生成图片以及局部修复等功能。

在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题

▲图片来自:爱极物

比如这张512×512分辨率的蜂蜜薄饼图在英特尔处理器轻薄本(只用i7-13700H的核显)上,只需要十几秒就可以生成出来。

这主要得益于13代酷睿处理器在核心数、性能、功耗比还有图形性能上的进步,以14核心20线程的i7-13700H处理器为例,它的TDP达到了45W,集成的IntelIrisXeGraphics(96EU)显卡也不容小觑。

作为目前最高规格的核显之一,IntelIrisXeGraphics(96EU)相较于IrisPlus核显最高64EU,基本规格提升明显,FP16、FP32浮点性能提升幅度高达84%,还引入了INT8整数计算能力,这些都加强了它的AI图形计算能力,也是英特尔轻薄本能够很好支持StableDiffusion的主要原因。

在以往,TDP45W左右的英特尔处理器很难装进轻薄本,不过到了13代酷睿,已经出现了一大批在1.4KG左右的轻薄本把14核心20线程的i7-13700H处理器乃至性能更高的i7-13900H处理器塞了进去,所以,在笔记本上跑StableDiffusion快速出图已经不是高性能独显游戏本的专属,今后轻薄本同样能够胜任这项工作。

当然,StableDiffusion本身主要跑在本地,轻薄本通过芯片性能的提升和优化来运行合乎逻辑,不过本地的端侧大模型则属于较为新生的事物。

通过通过模型优化,降低了模型对硬件资源的需求,进而提升了模型的推理速度,英特尔让一些社区开源模型能够很好地运行在个人电脑上。

以大语言模型为例,英特尔通过第13代英特尔酷睿处理器XPU的加速、low-bit量化以及其它软件层面的优化,让最高达160亿参数的大语言模型,通过BigDL-LLM框架运行在16GB及以上内存容量的个人电脑上。

虽然离ChatGPT3.5的1750亿参数有量级差距,但毕竟ChatGPT3.5是跑在一万颗英伟达V100芯片构建的AGI网络集群上。而这通过BigDL-LLM框架运行160亿参数大模型是跑在英特尔酷睿i7-13700H或i7-13900H这样为高性能轻薄本打造的处理器上。

不过这里也可以看到,PC端侧的大语言模型,也比手机端侧的大语言模型高一个量级。

出现了数十年的PC,并非运行云端大模型的工具人,得益于硬件进步,英特尔处理器支持的PC已经能够快速对接新兴模型,兼容HuggingFace上的Transformers模型,目前已经验证过的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper等。

在轻薄本上跑 Stable Diffusion 和端侧大模型?英特尔说没问题

▲图片来自:爱极物

在技术分享会现场,英特尔演示了基于酷睿i7-13700H设备跑大模型的表现:ChatGLM-6b可以做到首个token生成firstlatency241.7ms,后续token平均生成率为55.63ms/token。在在自然语言处理领域,「token」是指文本中的一个基本单元,可以是一个单词、一个字、一个子词(subword)、一个标点符号,或者其他可以进行语义处理的最小单元。可以看到,这个处理器速度相当不错。

目前还可以得到的消息是,英特尔的下一代处理器MeteorLake具备独特的分离式模块架构的优势,更好地为AI服务,包括像AdobePremierePro中的自动重新构图和场景编辑检测等多媒体功能,并实现更有效的机器学习加速。

虽然AIGC是2023年的一个关键词,但是AI并不新鲜,而且也是英特尔这几年来经常挂在嘴边的关键词。

更早之前的AI视频通话降噪,AI视频通话背景降噪等等,其实都是AI的应用。

可以看到,未来处理器的竞争力,将不局限于核心数、线程数、主频这些,能否更好地驱动AI功能,将成为愈发重要的维度,也会是今后消费者选购产品会考虑的因素之一。

相关新闻

返回顶部