早前藍(lán)點(diǎn)網(wǎng)介紹了 MLC 團(tuán)隊(duì)推出的對話 WebLLM (MLC LLM)，這個(gè) AI 對話模型沒有服務(wù)器支持，模型在網(wǎng)頁上調(diào)用 WebGPU API 即使用你的已經(jīng)運(yùn)行珠海外圍收費(fèi)如何vx《1662+044+1662》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)本機(jī) GPU 提供算力支持，一切數(shù)據(jù)都是可手考驗(yàn)離線的無需擔(dān)心你的對話內(nèi)容泄露。

現(xiàn)在該團(tuán)隊(duì)將 MLC LLM 移植到了手機(jī)上，機(jī)上還開發(fā)了 iOS Demo 應(yīng)用，本地也就是手機(jī)說你可以在手機(jī)上運(yùn)行大型語言模型，完全離線運(yùn)行，內(nèi)存不論是藍(lán)點(diǎn)珠海外圍收費(fèi)如何vx《1662+044+1662》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)模型還是數(shù)據(jù)都在本地。

好消息是測試顯示在 iPhone 14 Pro Max 上是可以正常運(yùn)行的，速度略微有些慢但還是模型能接受的地步，壞消息是已經(jīng)運(yùn)行如果手機(jī)內(nèi)存比較小的話會(huì)崩潰，因?yàn)槟Ｐ瓦\(yùn)行的可手考驗(yàn)時(shí)候，模型數(shù)據(jù)會(huì)被塞到內(nèi)存里，機(jī)上這會(huì)讓手機(jī)內(nèi)存瞬間被塞滿。本地

在 iPhone 12 Pro 上測試就有些壓力了，基本上說內(nèi)存起步需要 6GB，這么來看安卓機(jī)可能更有優(yōu)勢，畢竟現(xiàn)在新的安卓機(jī)內(nèi)存都非常大。

除了 iOS 版外，MLC 團(tuán)隊(duì)還推出了 Windows/Linux/Mac 的 CLI 版，即命令行版本，可以在終端里發(fā)起詢問并獲得答案，相對來說在 PC 上使用壓力就小一些了，畢竟內(nèi)存稍微大點(diǎn)。

等等… 我是不是還沒提 GPU 問題？是的，內(nèi)存并非關(guān)鍵，因?yàn)闊o論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速，手機(jī)上還好，在 PC 上用戶可能需要更新驅(qū)動(dòng)程序，例如 Vulkan 驅(qū)動(dòng)程序。

有興趣的用戶可以試試這個(gè) AI 模型，藍(lán)點(diǎn)網(wǎng)測試感覺還可以，中文支持也挺不錯(cuò)的。iOS Demo 程序的話目前在 TF，限額 9000 人，滿了就沒法加入了。有 iOS 開發(fā)經(jīng)驗(yàn)的開發(fā)者可以自行編譯安裝。

iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa

WebLLM (網(wǎng)頁版)：https://mlc.ai/web-llm/

Windows/Linux/Mac 需要使用 Conda 管理，具體請看：https://mlc.ai/mlc-llm/