ollama是一個(gè)基于Go語言開發(fā)的簡單易用的本地大模型運(yùn)行框架。它類似于docker，提供一些與docker類似的命令，如list、pull、push、run等。此外，它基于Go語言中的Web框架gin，提供了一些API接口，可以讓用戶像使用OpenAI提供的接口一樣進(jìn)行交互。

1、ollama是什么

ollama是一個(gè)基于Go語言開發(fā)的簡單易用的本地大模型運(yùn)行框架�？梢詫⑵漕惐葹閐ocker（有類似docker中的一些常規(guī)命令list,pull,push,run等等），事實(shí)上確實(shí)也制定了類似docker的一種模型應(yīng)用標(biāo)準(zhǔn)，在后邊的內(nèi)容中，你能更加真切體會(huì)到這一點(diǎn)。

在管理模型的同時(shí)，它還基于Go語言中的Web框架gin提供了一些API接口，讓你能夠像跟OpenAI提供的接口那樣進(jìn)行交互。

2、ollama的命令

ollama安裝之后，其同時(shí)還是一個(gè)命令，與模型交互就是通過命令來進(jìn)行的。

• ollama list：顯示模型列表
• ollama show：顯示模型的信息
• ollama pull：拉取模型
• ollama push：推送模型
• ollama cp：拷貝一個(gè)模型
• ollama rm：刪除一個(gè)模型
• ollama run：運(yùn)行一個(gè)模型

通過在命令行運(yùn)行ollama即可查看到相關(guān)命令。

如果你用過docker的話，那簡直就是so easy。接下來我就在我的window、mac、以及小米手機(jī)上分別體驗(yàn)一下。

3、在Windows上下載及體驗(yàn)

• 官網(wǎng)首頁一進(jìn)來就可以看到下載按鈕，客戶端可以在window、mac、linux等進(jìn)行安裝，跨平臺(tái)的，真的nice啊。

并且上面已經(jīng)把llama3集成進(jìn)來了，這速度是真的快。我這里下載的是window版本，目前213MB,很快就下載下來了。下載完畢即可安裝。

安裝完畢之后你可以在命令行中輸入查看版本

我們可以查看文檔： https://github.com/ollama/ollama/blob/main/README.md#quickstart

如上圖所示，可以用最簡單的方式就可以來啟動(dòng)llama3-8b,不過它可能還要等一會(huì)兒，因?yàn)槟Ｐ痛笮∮?.7G左右，需要下載一會(huì)兒喲。甚至你的配置夠高，也可以使用70b的模型來嘗試，不過我的電腦配置一般估計(jì)跑起來太慢。

看這里下載速度還算可以，四分鐘下載完畢，好了，那就先來測(cè)試一下吧。

整個(gè)體驗(yàn)下來，這可能是我本機(jī)測(cè)試感覺速度上最快的離線大模型了，真的表現(xiàn)非常棒。按照目前應(yīng)該很快會(huì)有優(yōu)化版本出來的，到時(shí)候繼續(xù)進(jìn)行評(píng)測(cè)一下。

破除了之前有人說沒有上下文的問題，中文語料可能確實(shí)有點(diǎn)少。但是寫代碼的體驗(yàn)還算不錯(cuò)的，雖然上面的代碼可能是不對(duì)的。

上下文長度過長時(shí)確實(shí)有幻覺的問題。

這個(gè)回答速度真的再優(yōu)化一下，很多小公司自己來部署大模型并進(jìn)行創(chuàng)造就很近了。

但是它畢竟是小模型，參數(shù)相對(duì)較少，運(yùn)行時(shí)所需要的資源就少很多。就像我本地運(yùn)行的，其實(shí)我的電腦配置可以看一下如下圖所示。

從開發(fā)的角度來看還算不錯(cuò)了。另外對(duì)翻譯的要求不高的話，效果也還過得去的。

同樣的你也可以直接進(jìn)行調(diào)用API

4、mac 上安裝以及體驗(yàn)

同樣還是在官網(wǎng)首頁可以點(diǎn)擊直接下載即可，下載下來會(huì)是一個(gè)壓縮包

解壓然后安裝就可以使用了，然后在命令行中可以查看是否安裝成功

通過 ollama -v 來查看安裝的版本，如果打印出來也就說明安裝成功了。然后再通過 ollama serve 開啟 ollama 的服務(wù)，注意當(dāng)前這個(gè)命令行窗口暫時(shí)不要關(guān)閉，關(guān)閉了則代表 ollama 服務(wù)也暫時(shí)停止了，可以打開另外一個(gè)命令行窗口進(jìn)行下載和使用大模型。

哇塞，這會(huì)的下載速度簡直起飛了。跑起來之后，測(cè)試就可以跟上面window類似了，這個(gè)就不在此多說了。

5、小米手機(jī)再來體驗(yàn)一波

android手機(jī)要想體驗(yàn)一波，就需要先按照依稀Termux,這里我之前有寫過一篇手把手來教你在手機(jī)上安裝大模型llama2，這篇文章中我主要使用的是huggingface 來運(yùn)行大模型，那么現(xiàn)在用到的是ollama。

于是我在Termux中執(zhí)行如下命令進(jìn)行安裝ollama

curl -fsSL https://ollama.com/install.sh | sh

發(fā)現(xiàn)我的手機(jī)沒有root,ollama是使用不起來的，必須要先root。

簡單搜索發(fā)現(xiàn)一個(gè)不錯(cuò)的方法：
https://gitlab.com/st42/termux-sudo

但是點(diǎn)進(jìn)去發(fā)現(xiàn)是五年前的，不知道能不能用，于是我就又搜索了一下

https://github.com/termux/proot-distro

proot-distro 是一個(gè)用于在 Termux 應(yīng)用程序中管理和使用 Linux 發(fā)行版的項(xiàng)目。Termux 是一個(gè) Android 終端模擬器和 Linux 環(huán)境應(yīng)用，它不需要設(shè)備的 root 權(quán)限就可以運(yùn)行。

proot-distro 允許用戶在 Termux 中安裝、卸載和運(yùn)行各種 Linux 發(fā)行版，包括 Ubuntu、Debian、Arch Linux 等。這樣，用戶就可以在他們的 Android 設(shè)備上使用完整的 Linux 環(huán)境，包括安裝和運(yùn)行 Linux 軟件包。

接下來要先在手機(jī)上打開termux

// 先來安裝proot-distro
pkg install proot-distro

//使用proot-distro安裝一個(gè)debian
proot-distro install debian

// 安裝成功后通過login命令就直接進(jìn)入debian
proot-distro login debian

//進(jìn)入之后再來安裝ollama
curl -fsSL https://ollama.com/install.sh | sh

// 安裝完畢可以查看ollama版本進(jìn)行驗(yàn)證
ollama -v

// 出現(xiàn)版本號(hào)之后就可以使用ollama
// 開啟ollama服務(wù)
ollama serve
// 此時(shí)這個(gè)命令行的窗口不要關(guān)閉，關(guān)閉之后ollama服務(wù)就停止了

然后再termux左上角向右滑動(dòng)

點(diǎn)擊NEW SESSION,這樣就新開了一個(gè)命令行，在這里命令行中就可以使用ollama其他命令了

// 這是一個(gè)新的命令行，，記得要先進(jìn)入debian
proot-distro login debian

//下載并運(yùn)行大模型
ollama run llama3

進(jìn)行測(cè)試就跟上面一樣了，這里相當(dāng)于單獨(dú)安裝了一個(gè)模擬運(yùn)行環(huán)境debian,會(huì)有一部分性能的消耗吧。有興趣或者手機(jī)性能不錯(cuò)的到時(shí)候可以玩玩，感覺小模型在未來的某個(gè)時(shí)刻還是會(huì)有更廣泛的應(yīng)用場景，參數(shù)不用那么多，那么大，但是針對(duì)特定領(lǐng)域進(jìn)行微調(diào)訓(xùn)練的。

6、總結(jié)

應(yīng)該說llama3給與了開源模型更廣闊的思考空間，期待開源模型更大的進(jìn)步讓我們拭目以待。同時(shí)希望Meta在接下來的時(shí)候能將llama3-400的發(fā)布。

就在實(shí)驗(yàn)此文章的過程中也發(fā)現(xiàn)了：

高通與Meta宣布合作，優(yōu)化Meta新推出的Llama 3大語言模型在驍龍終端上的運(yùn)行。Llama 3有兩種版本，分別為80億和700億參數(shù)，旨在為智能手機(jī)、PC、VR/AR頭顯和汽車等設(shè)備提供強(qiáng)大的開源語言模型支持。合作將使開發(fā)者能夠利用高通AI Hub的資源和工具，優(yōu)化Llama 3在驍龍平臺(tái)上的執(zhí)行，以縮短產(chǎn)品上市時(shí)間，并提升終端側(cè)AI的性能，包括響應(yīng)能力、隱私性、可靠性和個(gè)性化體驗(yàn)。

這才幾天過去，在huggingface平臺(tái)就發(fā)現(xiàn)了8個(gè)中文微調(diào)模型，不得不說社區(qū)的力量真的太強(qiáng)大了，全民共享大模型。

從Llama 3的發(fā)布能看到，好而全的數(shù)據(jù)，對(duì)模型訓(xùn)練的重要性！ HuggingFaceFW 開源的 FineWeb ，有 15T tokens 的高質(zhì)量網(wǎng)絡(luò)數(shù)據(jù)，以英文為主，由CommonCrawl獲取的2013-2024年數(shù)據(jù)。

ollama和huggingface 給與了像我這樣的普通人，就能很方便的了解AI大模型，并且在本地運(yùn)行大模型，真的太高興了，接下來有機(jī)會(huì)會(huì)繼續(xù)嘗試其他的可能性。

• 異色邊緣龍局北辰卡組詳解
• 《怪化貓》系列第二章《火鼠》近日公開諸多新情報(bào)
• steam特賣頁面出現(xiàn)神秘粉發(fā)女孩 引發(fā)網(wǎng)友熱烈討論
• 大雪節(jié)氣活動(dòng)：桃源深處有人家雪盛冬藏
• 游俠晚報(bào)：《絕地潛兵2》口碑上升 Fami通一周評(píng)分