2025年1月,DeepSeek 發(fā)布的 DeepSeek-R1 推理大模型憑借其出色的邏輯推理能力,接近甚至超越OpenAI的o1,引發(fā)全球轟動(dòng)。但隨之而來(lái)的,是由于用戶暴增帶來(lái)的官方處理能力達(dá)到極限,無(wú)法及時(shí)響應(yīng)所有請(qǐng)求,導(dǎo)致頻繁報(bào)錯(cuò)。

在這樣的背景下,各類替代服務(wù)方案紛紛出現(xiàn),越來(lái)越多的國(guó)內(nèi)廠商接入 DeepSeek-R1 大模型服務(wù),為用戶提供了更多選擇。但這些廠商各自在不同城市運(yùn)行DeepSeek R1 API的表現(xiàn)究竟如何?應(yīng)該憑借怎樣的依據(jù),來(lái)選擇相應(yīng)的廠商提供服務(wù),就成為擺在開(kāi)發(fā)者和企業(yè)面前的現(xiàn)實(shí)問(wèn)題。

近日,可觀測(cè)與應(yīng)用安全廠商基調(diào)聽(tīng)云,利用其基調(diào)聽(tīng)云撥測(cè)工具,模擬真實(shí)用戶進(jìn)行主動(dòng)監(jiān)控,從網(wǎng)絡(luò)性能、接口響應(yīng)時(shí)間、推理速度、內(nèi)容生成速度等多個(gè)關(guān)鍵指標(biāo),在成都、上海、北京、廣州、深圳等城市,對(duì)DeepSeek 官方、阿里云、騰訊云、火山引擎、硅基流動(dòng)等服務(wù)商的 API 接口展開(kāi)深入測(cè)試,并發(fā)布了《大模型服務(wù)性能評(píng)測(cè) DeepSeek-R1 API 版》第一期報(bào)告,為企業(yè)和開(kāi)發(fā)者提供了重要參考。

廣州本地的測(cè)試結(jié)果顯示,火山引擎在可用性方面整體表現(xiàn)非常穩(wěn)定,未出現(xiàn)明顯波動(dòng)。而性能上,也整體表現(xiàn)良好,未出現(xiàn)顯著問(wèn)題。

具體來(lái)說(shuō),在廣州本地運(yùn)行DeepSeek R1 API的測(cè)試中,火山引擎的可用性達(dá)到了98.41%。同時(shí)生成速度則達(dá)到了70.18 tokens/s。

圖片1.png

DeepSeek R1評(píng)測(cè)結(jié)果(圖片來(lái)自基調(diào)聽(tīng)云公眾號(hào))

作為對(duì)照,硅基流動(dòng)在可用性方面僅次于火山引擎,達(dá)到93.75%,但生成速度較慢,僅為18.009 tokens/s;DeepSeek官方在生成速度方面為37.987 tokens/s,但可用性卻只達(dá)到42.86%。

其他廠商方面,騰訊云可用性達(dá)到65.63%,生成速度為13.28 tokens/s;阿里云百煉可用性可以達(dá)到85.71%,但生成速度僅為12.797 tokens/s,是五家參加測(cè)試廠商中最低的。

基調(diào)聽(tīng)云方面表示,此次測(cè)試中,推理速度和生成速度的差異,在廠商間表現(xiàn)較為顯著,服務(wù)端推理的性能,顯然是影響API整體性能的關(guān)鍵因素。另外在網(wǎng)絡(luò)延遲(DNS 時(shí)間、連接時(shí)間等)方面,盡管存在一定的差異,但從測(cè)試結(jié)果來(lái)看,除非網(wǎng)絡(luò)層的延遲異常高,否則不會(huì)對(duì)整體的 API 性能產(chǎn)生根本性影響。(作者:江田)