您的位置：首頁 >綜合 > 動態(tài) >
軟硬件雙向驅動 英特爾加速AI on PC落地
以ChatGPT、Claude2、Stable Diffusion、Midjourney等為代表的生成式AI崛起的背后，是大眾用戶親眼看到了AI技術切實落地到了實際應用之中，并為工作、創(chuàng)作、創(chuàng)意帶來前所未有的效率提升。它與AI1.0時代的卷積神經網絡、深度學習等看起來就頗具技術門檻的核心技術相比，顯然更接地氣，更容易為大眾所接受。
(相關資料圖)
毫無疑問，如今的我們正處在人工智能技術發(fā)展的關鍵階段，它正在逐漸滲透到人類生活、工作、學習的方方面面。而生成式AI作為AI宏觀體系中的一次大突破，正以驚人速度改變著自然語言處理、創(chuàng)意生成以及智能助手等領域的實踐落地。而在這個過程中，英特爾作為半導體、軟件、AI等技術領域的領導者和領先者，正以其強大的軟硬件支持，為生成式AI的蓬勃發(fā)展構筑核心生態(tài)。
·硬件：AI普及的關鍵是讓普通電腦也能輕松跑動各種大模型
一般來說，絕大部分AI相關應用的著力點在GPU，因為它擁有強大的并行計算能力和浮點性能。但是此前在大灣區(qū)的一場技術分享會上，英特爾顛覆了我們對于AI計算硬件的認知。
通過構建BigDL-LLM庫的方式，英特爾讓ChatGPT這樣的大語言模型順利運行在了支持AI加速引擎的第12代和13代酷睿處理器平臺上，并通過一系列優(yōu)化使其速度達到了非常流暢的級別。即便是主打續(xù)航、便攜能力的輕薄本，也能在16GB及以上內存容量平臺中順利運行最高達160億參數(shù)的大語言模型。而讓普普通通的筆記本電腦都能夠順利支持AI應用，這必然會為AI普及構筑出前所未有的堅實基礎。
此外，BigDL-LLM庫不僅支持ChatGPT一種大語言模型，它還實現(xiàn)了對LLaMA/ LLaMA2、ChatGLM/ChatGLM2、MPT、Falcon、RedPajama等多個大語言模型的支持。而且英特爾還提供了易用的LangChain開源框架、Transformers神經網絡API接口，并順利支持Windows、Linux操作系統(tǒng)，從而為不同平臺的開發(fā)者們也帶來了巨大便利。
此外別忘了，英特爾現(xiàn)在也是高性能GPU領域的參與者，旗下的銳炫GPU不僅擁有應用于大型數(shù)據中心、服務器領域的產品，在消費市場落地的銳炫A系列顯卡同樣能夠為生成式AI應用提供可靠的算力支持。因此在Stable Diffusion、Midjourney這樣的需要GPU算力的圖像生成式AI應用領域，英特爾同樣能夠提供“專業(yè)對口”的硬件支持。如臺式機端的13代酷睿i7-13700K處理器加上銳炫A770獨顯，就能夠非常高效地運行Stable Diffusion。
·軟件：積極擁抱AI社區(qū)通過軟件優(yōu)化提升AI應用體驗
如果說硬件為應用落地構建了基礎，那么軟件就是如何在基礎之上構建高樓，而軟件層面的優(yōu)化，則是考慮如何讓“高樓”從毛坯變成精裝。
一直以來，英特爾在軟件領域的投入都十分令人矚目。通過精心構建軟件生態(tài)，優(yōu)化模型性能，英特爾為生成式AI在個人電腦端的應用創(chuàng)造了有利條件。
英特爾積極擁抱AI社區(qū)，通過基于OpenVINO PyTorch后端的方案，使得開源模型能夠在英特爾的客戶端處理器、集成顯卡、獨立顯卡和專用AI引擎上順暢運行。
同樣以生成式AI應用中最火的圖形視覺領域為例，英特爾開發(fā)了一套專門的AI框架，它可以在開啟OpenVINO加速的情況下，僅通過一行代碼的安裝，就可以加速PyTorch模型運行。此時，就可以讓Stable Diffusion Automatic1111 WebUI在集成顯卡和銳炫獨立顯卡上流暢運行。
我們在一臺13代酷睿i7-13700H處理器+銳炫Xe核顯機器上試著讓Stable Diffusion生成一張圖片，所提的需求并未太過復雜，總體耗時為44秒，完成速度算是相當快的了，畢竟這是在移動平臺的核顯上做的圖片渲染和生成。
目前，單單是96EU的銳炫Xe核顯，就可以支持在Stable Diffusion上運行FP16精度的模型，從而快速生成高質量圖片，為內容創(chuàng)作、視覺創(chuàng)意提供便利。
從這一案例可以看出，無論是文字生成圖片還是圖片生成圖片，英特爾通過軟件優(yōu)化、模型優(yōu)化，將模型對硬件資源的需求盡可能降到最低，從而提升模型的推斷速度，確保那些以往需要高性能顯卡才能運行的開源模型能夠在個人電腦上也能高效運行，這對于AI應用普及同樣是意義非凡。
·英特爾大語言模型應用落地12代、13代酷睿電腦全部支持
在8月18日舉辦的大灣區(qū)技術分享會上，英特爾還進一步展示了其軟硬件體系在大語言模型應用方面的實際表現(xiàn)。通過集成了ChatGLM2、LLa MA2和Star Coder三個大語言模型的英特爾大語言模型應用Demo，成功展示了這些大語言模型在中文和英文應用方面的表現(xiàn)。
比如我們通過它詢問了“AI在PC領域上的應用”，它的首次響應延遲只有215.3ms，也就是在提交問題到AI識別問題，再到開始生成問題答案的過程只有215.3ms，可以說是非常迅速。
此外可以看到，這款軟件集成了中文、英文、代碼三種語言環(huán)境，對應功能的指向性也很明確。聊天、情感分析、中文翻譯、故事創(chuàng)作等等，可以說是涵蓋了大語言模型的常見應用。這樣的分類可以幫助用戶更加明確地向AI提出需求，而如何明確、正確提出需求，本身也是目前AI應用中的難點之一。
我們也試著向AI提出了“和女朋友吵架了怎么哄她”的情感分析需求，首次響應時間為249.8ms，比上一個問題響應慢一些，可見和女朋友的情感問題擺在AI面前，它也需要多加思考一番。
英特爾借助軟件端優(yōu)化和量化操作，使得大語言模型在進行回答時能夠以非?？斓乃俣壬纱鸢?，并且不影響整機使用流暢性，這同樣也是AI應用普及的重要一步。目前英特爾已經發(fā)布了這套Demo，任何搭載英特爾12代和13代酷睿的電腦都可以直接安裝并進行體驗。
·英特爾：AI on PC的核心賦能者
英特爾不僅僅是AI技術的提供者，更是讓AI on PC從“PPT”走向實際落地的核心賦能者。
借助支持AI加速引擎的12代、13代酷睿處理器，借助具備高效浮點性能的銳炫GPU等強力硬件，并且快速推出英特爾大語言模型應用Demo以及通過后端優(yōu)化和OpenVINO加速來更好地支持Stable Diffusion圖形視覺領域的AI應用，AI借助PC實現(xiàn)全面普及只是時間問題。
現(xiàn)階段，大眾用戶對于生成式AI應用的使用意愿極為強烈，因為它確實能夠解決很多實際問題。如提升辦公效率、提供輔助設計和創(chuàng)意理念等等，這些應用能夠徹底改變人類現(xiàn)階段的工作、生活方式，激發(fā)人們在創(chuàng)作、創(chuàng)意層面的靈感，而硬件性能強大的電腦無疑是最佳載體。
除了已經發(fā)布的第12代與13代酷睿之外，英特爾下一代Meteor Lake處理器也將進一步強化對于AI的底層支持，專門設計的NPU將為AI應用帶來更加高效的體驗。
在生成式AI集中落地的大潮中，英特爾是一個不可或缺的關鍵因素。從強勁性能的硬件支持到模型優(yōu)化的軟件技術，英特爾為生成式AI的發(fā)展提供了全方位支持。在英特爾的引領下，生成式AI與PC將實現(xiàn)驚人的化學反應，為人類帶來更智能、更富創(chuàng)意PC使用體驗。
文章來源：中關村在線
