大模型這股熱風(fēng)，已經(jīng)吹到了上游算力。

隨著百度、騰訊、阿里等紛紛拿出相關(guān)技術(shù)布局以及底層設(shè)施儲(chǔ)備，為中國(guó)的ChatGPT奮力一戰(zhàn)，密集上線的大模型面臨著巨大的算力需求，“算力從何而來(lái)”的問(wèn)題隨之搬上臺(tái)面。

【資料圖】

一方面，算力昂貴。以ChatGPT為例，支撐其算力至少需要上萬(wàn)顆英偉達(dá)的GPU A100，單次模型訓(xùn)練成本超過(guò)1200萬(wàn)美元。

另一方面，算力有限。今年4月5日，Open AI就因需求量過(guò)大為由關(guān)閉過(guò)ChatGPT Plus的付費(fèi)渠道，這意味著僅發(fā)布幾個(gè)月，OpenAI就曾面臨算力缺口。

那么問(wèn)題就來(lái)了，GPU燒錢(qián)且有限的算力現(xiàn)況，對(duì)于大模型來(lái)說(shuō)是否就是最優(yōu)解？

“蹭”大模型和AIGC的熱度，業(yè)內(nèi)也涌現(xiàn)技術(shù)及方案的“混戰(zhàn)”。國(guó)內(nèi)外云計(jì)算大廠發(fā)力自研芯片和軟硬件系統(tǒng)優(yōu)化、二級(jí)市場(chǎng)CPO（共封裝光學(xué)）概念股一路飆升、存算跳出來(lái)說(shuō)是“突破困境的清晰路線”、量子計(jì)算更是被認(rèn)為“最具潛力的破局者”。

在投算力未來(lái)上，投資人也開(kāi)始兵分幾路，有人堅(jiān)定燒GPU、有人開(kāi)始刷起模型訓(xùn)練優(yōu)化的項(xiàng)目，更有投資過(guò)存算、Chiplet的VC計(jì)劃在賽道內(nèi)尋找更優(yōu)的投資標(biāo)的，還有投資量子計(jì)算的機(jī)構(gòu)在期待從底層到上層的一場(chǎng)算力革命的大爆發(fā)。

儼然，這場(chǎng)“算力軍備競(jìng)賽”在一級(jí)市場(chǎng)，已經(jīng)暗潮涌動(dòng)。

國(guó)產(chǎn)GPU：以量取勝

大模型的發(fā)展有算法、算力、數(shù)據(jù)三大重要因素。

算力是大模型訓(xùn)練的重要能量引擎，也是目前國(guó)內(nèi)發(fā)展大模型產(chǎn)業(yè)的一大壁壘。芯片能力直接影響著高算力訓(xùn)練效果和速度，故而高端GPU芯片的數(shù)量多少，成為業(yè)內(nèi)判斷企業(yè)大模型能力的重要指標(biāo)。

然而，對(duì)于國(guó)內(nèi)大模型玩家而言，高端GPU芯片面臨著進(jìn)口受限的問(wèn)題，已經(jīng)由“買(mǎi)不買(mǎi)得起”變?yōu)椤坝貌挥玫蒙稀薄?jù)此前媒體報(bào)道，國(guó)內(nèi)云廠商主要采用的是英偉達(dá)的中低端性能產(chǎn)品，譬如GPU A800。

在國(guó)外芯片能否撐起大模型的算力需求疑問(wèn)下，一眾GPU國(guó)產(chǎn)廠商也在抓住國(guó)產(chǎn)替代的契機(jī)。

但是，國(guó)內(nèi)GPU芯片的云端訓(xùn)練公司如壁仞科技（通用GPU芯片BR100）、天數(shù)智芯（“智鎧100”）、寒武紀(jì)（云端推理思元270）的產(chǎn)品雖在多媒體和圖形處理的單精度浮點(diǎn)計(jì)算FP32的理論指標(biāo)上做得不錯(cuò)，但沒(méi)有處理FP64的能力。

而大模型訓(xùn)練需要處理高顆粒度的信息，對(duì)云端訓(xùn)練芯片的芯片處理信息的精細(xì)度和算力速度要求更高，在超算領(lǐng)域，雙精度浮點(diǎn)計(jì)算能力FP64是進(jìn)行高算力計(jì)算的硬性指標(biāo)。

英偉達(dá)的A100就同時(shí)具備上述兩類(lèi)能力。

根據(jù)公開(kāi)消息，目前國(guó)內(nèi)唯一支持FP64雙精度浮點(diǎn)運(yùn)算的只有海光推出的DCU（協(xié)處理器），但是它的性能只有A100的60%左右。

對(duì)此，戈壁創(chuàng)投VP俞悅坦言，雖然目前燒GPU是最為現(xiàn)實(shí)的方案，但就國(guó)內(nèi)GPU廠商的角度，還需要更多時(shí)間去追趕。

普華資本合伙人蔣純則認(rèn)為，技術(shù)差距是一方面，還有一方面是美國(guó)卡脖子的問(wèn)題，這就要求國(guó)內(nèi)企業(yè)想做高端GPU芯片，要有能力走出一條從設(shè)備到材料，完全國(guó)產(chǎn)化的道路。如果做不到，就只能退而求其次。

但這樣的國(guó)產(chǎn)GPU對(duì)于大模型是否就無(wú)用了？不然。

蔣純進(jìn)一步解釋?zhuān)瑖?guó)產(chǎn)GPU即便做不出最強(qiáng)大，但也能做出目前所需要的產(chǎn)品，只是更多是以低端的GPU去追趕和堆疊，讓一堆GPU通過(guò)優(yōu)化和協(xié)調(diào)來(lái)協(xié)同作用，即以量取勝、再去組合模擬優(yōu)化的路徑。

值得注意的是，GPU越堆越多，內(nèi)部管理的難度也就越大，故而提高GPU并行運(yùn)行的資源利用率，做模型推理/訓(xùn)練優(yōu)化的項(xiàng)目也開(kāi)始在VC圈開(kāi)始涌現(xiàn)，成為了一線投資人研究的方向之一。

但就蔣純來(lái)說(shuō)，這類(lèi)項(xiàng)目雖然有價(jià)值，也是個(gè)不錯(cuò)的方向，但并不足以戳中他的心巴。他坦言，有時(shí)候有價(jià)值的事不一定有好的商業(yè)模式。

“就系統(tǒng)來(lái)說(shuō)，阿里、華為等大廠一定比小公司有優(yōu)勢(shì)。因?yàn)榧夹g(shù)從大環(huán)境里磨練出來(lái)，最后應(yīng)用到大環(huán)境里。創(chuàng)業(yè)公司獨(dú)立做，大公司一上來(lái)就學(xué)走了，要不就是技術(shù)賣(mài)給大廠。”

而就GPU芯片而言，大廠又未必有絕對(duì)優(yōu)勢(shì)，反倒給了創(chuàng)業(yè)公司機(jī)會(huì)。

他表示，雖然大廠有資金、場(chǎng)景，但存在一個(gè)老問(wèn)題，就是以部門(mén)形式來(lái)做，無(wú)法做到創(chuàng)業(yè)公司all in的 “瘋狂”。而芯片有知識(shí)產(chǎn)權(quán)以及商業(yè)壁壘，創(chuàng)業(yè)公司有能力將芯片賣(mài)給大廠。

GPU“防守”，存算“包抄”

值得注意的是，燒GPU，并非長(zhǎng)久之策。

動(dòng)輒幾億算力投入的模型訓(xùn)練階段只是開(kāi)始，模型推理應(yīng)用階段算力成本更是可能高達(dá)百億級(jí)別。大算力之下，背后的功耗更是驚人。

環(huán)球零碳研究中心曾粗略合計(jì)了ChatGPT全生命周期的碳足跡：自 2022 年 11 月 30 日運(yùn)行以來(lái)，其制造設(shè)備的碳排放量超過(guò)了33. 41 噸，模型訓(xùn)練碳排放超過(guò) 552 噸，運(yùn)行 60 天碳排放約為229. 2 噸。

而隨著模型越來(lái)越大，按照傳統(tǒng)方式計(jì)算將越來(lái)越麻煩。而國(guó)內(nèi)想用高端GPU這一傳統(tǒng)的數(shù)字電路方法來(lái)解決大算力，存在上游材料、設(shè)備等根本障礙，短期難以解決。

面對(duì)未來(lái)潛在的算力指數(shù)增長(zhǎng)，也有不少企業(yè)和VC開(kāi)啟了換擋操作，以存算、Chiplet等技術(shù)，來(lái)達(dá)到能夠支撐大模型的算力。

其中，就存算賽道來(lái)說(shuō)，身處一線的蔣純明顯感覺(jué)到變熱鬧了。

2019年投知存科技時(shí)，他發(fā)現(xiàn)很多人還不知道存內(nèi)計(jì)算，而現(xiàn)在這個(gè)高技術(shù)壁壘的賽道，他觀察到創(chuàng)業(yè)公司可能有近10家，且熱度還在持續(xù)升溫。

“越來(lái)越多人會(huì)發(fā)現(xiàn)存內(nèi)計(jì)算在全球的大模型時(shí)代非常重要。傳統(tǒng)的計(jì)算機(jī)體系架構(gòu)是適應(yīng)計(jì)算密集型應(yīng)用的，而現(xiàn)在AI都是數(shù)據(jù)密集型應(yīng)用，所以一定要有新的架構(gòu)來(lái)更好地應(yīng)對(duì)AI這種數(shù)據(jù)密集型應(yīng)用。從原理上來(lái)說(shuō)，存內(nèi)計(jì)算是一種解決AI算力需求的根本性手段，而且相較于量子計(jì)算、光計(jì)算而言更有望在短期內(nèi)實(shí)現(xiàn)出來(lái)。芯粒跟堆疊也會(huì)對(duì)AI類(lèi)計(jì)算提供幫助。”

蔣純表示，存算即用器件本身特性來(lái)算，相當(dāng)于是一次并行計(jì)算，譬如ChatGPT 1700多億參數(shù)，傳統(tǒng)的數(shù)字電路要算很多次，而存算可能一個(gè)節(jié)拍就能算完。至于堆疊，則是將一片memory和一片邏輯電路堆在一起，創(chuàng)造了一個(gè)有巨大內(nèi)存的CPU，應(yīng)用在大模型上就會(huì)非常好地加速運(yùn)算。

蔣純對(duì)賽道的感受的確也跟公開(kāi)數(shù)據(jù)表現(xiàn)相一致。

據(jù)企查查數(shù)據(jù)顯示，存算賽道2018年-2019年融資交易數(shù)量為11筆，而2020年至今，融資交易數(shù)為28筆，其中有22筆集中在2021年至2022年間，加速態(tài)勢(shì)明顯。

但他也指出，目前全球已經(jīng)商用的存算還是用在邊緣端，譬如高保真降噪耳機(jī)等，以低功耗帶來(lái)高算力。與此同時(shí)，從公司戰(zhàn)略上來(lái)看，目前存算企業(yè)可分為兩派。

一派是上來(lái)就大容量的計(jì)算，要狂投入研發(fā)成本，短期看不出結(jié)果，融資幾輪估值上百億，但最后沒(méi)有成果，就會(huì)越到后面越難做，可能就無(wú)人接盤(pán)；而另一派則是小步快跑，先流片、應(yīng)用，甚至搭生態(tài)，邊研發(fā)邊回血，讓投資人有信心續(xù)投，也是蔣純認(rèn)為國(guó)內(nèi)存算企業(yè)更現(xiàn)實(shí)的發(fā)展戰(zhàn)略。

據(jù)他觀察，現(xiàn)在大模型出來(lái)之后，投資人在看到市場(chǎng)的前景下，對(duì)這兩派存算企業(yè)都有意愿去投錢(qián)，即使當(dāng)下沒(méi)有成果展示。

“我們投的時(shí)候，這些技術(shù)肯定有很多的不確定性，譬如能不能做出來(lái)，能不能成為主流。現(xiàn)在來(lái)看確定性是越來(lái)越高了，存算企業(yè)都在做大模型支撐的相關(guān)研發(fā)，優(yōu)質(zhì)項(xiàng)目會(huì)呈現(xiàn)加速發(fā)展的態(tài)勢(shì)。我認(rèn)為5年內(nèi)，存算能夠成為一個(gè)比較成熟的解決方案，甚至有可能是主流解決方案。”

在這場(chǎng)全球技術(shù)較量中，蔣純認(rèn)為GPU跟存算是合大于競(jìng)的關(guān)系：GPU作為目前最成熟的方案，不能放棄，需要有一批公司扛著，來(lái)正面剛；而存算屬于包抄穿插進(jìn)攻，打破國(guó)外技術(shù)壁壘，實(shí)現(xiàn)新技術(shù)的換道超車(chē)。

防御進(jìn)攻都有了，量子計(jì)算還能做什么？

按照上述所說(shuō)，大模型算力之爭(zhēng)，短期看GPU自研，中期看存算、Chiplet，那么被投資人視為新計(jì)算方向的量子計(jì)算在其中又能扮演什么角色？

事實(shí)上，VC對(duì)量子計(jì)算的關(guān)注不只限于此次ChatGPT的熱潮，AR/VR、5G等新應(yīng)用場(chǎng)景的不斷涌現(xiàn)，以及各類(lèi)型的應(yīng)用場(chǎng)景爆發(fā)式增長(zhǎng)，讓市場(chǎng)對(duì)算力的需求水漲船高，產(chǎn)業(yè)亟待挖掘具有顛覆性的計(jì)算形式。

量子計(jì)算作為一種新型架構(gòu)的計(jì)算，可以實(shí)現(xiàn)指數(shù)級(jí)算力提升，更可謂是不得不關(guān)注的焦點(diǎn)。

據(jù)企查查數(shù)據(jù)顯示，2017年至今，國(guó)內(nèi)量子計(jì)算賽道共完成31起融資事件，公開(kāi)披露融資金額超25億元，融資主要發(fā)生在2021年及以后，占比近7成。其中圖靈量子、本源量子、量旋科技、玻色量子、國(guó)儀量子等在近年獲多輪融資。

對(duì)于這一疑問(wèn)，量旋科技CEO項(xiàng)金根對(duì)量子計(jì)算跟經(jīng)典計(jì)算機(jī)的算力差距，給出了飛機(jī)和地面交通工具的比喻。

他表示，當(dāng)下存算、光芯片、其他一些封裝的改進(jìn)技術(shù)，本質(zhì)上還是經(jīng)典計(jì)算機(jī)的范疇，它運(yùn)算的原理跟GPU本質(zhì)上沒(méi)有太大改變，更多是在傳統(tǒng)的框架下做的一些改進(jìn)，使得人工智能的芯片效率更高。

對(duì)于現(xiàn)有的AI芯片、存算一體或其他封裝技術(shù)對(duì)AI算力的提升，項(xiàng)金根表示認(rèn)可，同時(shí)他也認(rèn)為需要不同維度去看不同解決方案對(duì)算力的助力，這里面不一定存在最優(yōu)解。

“未來(lái)，量子計(jì)算機(jī)肯定能夠助力人工智能。AI需要的算力會(huì)越來(lái)越多，到 2030 年左右可能不光是算力，連耗電量都是非常恐怖的數(shù)據(jù)級(jí)。所以要真正解決AI大規(guī)模的算力需求，量子計(jì)算機(jī)是一個(gè)很有潛力的應(yīng)用方向，而且量子計(jì)算機(jī)的運(yùn)算模式跟人工智能有天然的貼合性，量子計(jì)算機(jī)可以加速AI的一些應(yīng)用場(chǎng)景，而AI亦可以加速量子計(jì)算的研發(fā)，優(yōu)化其操控精度。”

那么，如此具有革命性的量子計(jì)算何時(shí)能應(yīng)用到AI領(lǐng)域？項(xiàng)金根認(rèn)為，到2030年行業(yè)發(fā)展順利進(jìn)入容錯(cuò)量子計(jì)算階段，將可能是一個(gè)落地的時(shí)間點(diǎn)。

相較于項(xiàng)金根給出的10年之約，俞悅認(rèn)為量子計(jì)算相關(guān)算法在一些行業(yè)特定任務(wù)上的嘗試落地，在這個(gè)時(shí)間點(diǎn)可能會(huì)有一些結(jié)果，至于解決AI的通用任務(wù)上，他則相對(duì)保守地給出了“50年”的看法。甚至投了圖靈量子的聯(lián)想創(chuàng)投也表示，量子計(jì)算從產(chǎn)業(yè)化的角度看，仍挑戰(zhàn)諸多，充滿機(jī)遇。

聯(lián)想創(chuàng)投坦言，量子計(jì)算落地需要解決百萬(wàn)量子比特操縱能力、低環(huán)境要求、高集成度等核心問(wèn)題，具有較高的入局門(mén)檻，其產(chǎn)業(yè)化仍面臨技術(shù)路徑不確定、人才儲(chǔ)備稀缺、產(chǎn)業(yè)鏈配套早期以及無(wú)法用傳統(tǒng)的邏輯、電路思維進(jìn)行推導(dǎo)和復(fù)刻的四大痛點(diǎn)。

如此看來(lái)，這些問(wèn)題待解之下，量子計(jì)算就略微顯得理想豐滿、現(xiàn)實(shí)骨感。

此外，俞悅還指出，從邏輯上說(shuō)，量子計(jì)算肯定能解決很多算力問(wèn)題，但即便如此，還需要結(jié)合成本，才能知道量子計(jì)算是不是一個(gè)從投入產(chǎn)出看的最佳方案。

在俞悅看來(lái)，眼下量子計(jì)算行業(yè)還未發(fā)生一些根本性的變化進(jìn)展，中短期與其寄希望于其他方案來(lái)解決大模型所遇到的算力問(wèn)題，不如指望GPU這些經(jīng)典計(jì)算的硬件價(jià)格能下來(lái)。

“解決算力的成本肯定會(huì)越來(lái)越便宜，GPU價(jià)格對(duì)于大模型玩家來(lái)說(shuō)只是暫時(shí)的，終究不會(huì)對(duì)AI發(fā)展構(gòu)成太大瓶頸。而其他方案的成熟還需要很多配套的軟件生態(tài)匹配，相對(duì)來(lái)說(shuō)更是一個(gè)非常長(zhǎng)周期的事情。”

標(biāo)簽：