精選文章
在 Mac 上 安裝 GO 和 Ollama 和 Deepseek R1
--
先前升級了 Macbookpro 2024版 M4 , 有14核心,
剛好來看看編譯速度 ( 和 GO 測核心數目程式一併記錄在 此網頁 )
GO
Go語言(也稱為Golang)是一種由Google於2007年設計並於2009年正式推出的開源編程語言。它的設計目的是為了提高開發效率,特別是在大型代碼庫和多核處理器環境中。Go語言的主要特點包括:
簡單性與高效性
Go語言的語法簡單明瞭,易於學習,這使得它成為初學者和經驗豐富的開發者的理想選擇。它的編譯速度非常快,能夠快速生成可執行的二進制文件,這對於開發和測試過程非常有利。
靜態類型與垃圾回收
Go是一種靜態類型的編程語言,這意味著變量的類型在編譯時就已確定。它還具有自動垃圾回收功能,這樣開發者無需手動管理內存,從而減少了內存洩漏的風險。
並發支持
Go語言特別強調並發編程,通過Goroutines和Channels來實現多任務的同時運行。這使得Go非常適合用於構建高性能的網絡服務和分佈式系統。
廣泛應用
Go語言被廣泛應用於網絡開發、雲原生應用、微服務架構等領域。它的標準庫提供了許多常用功能,幫助開發者快速構建應用程序。
總的來說,Go語言以其簡單性、高效性和強大的並發支持,成為了現代軟件開發中一個受歡迎的選擇。
(1) 下載並安裝
可以按照這個指示來做:https://go.dev/doc/install
(2) 驗證安裝
% which go
/usr/local/go/bin/go
% go version
go version go1.23.6 darwin/arm64
Ollama
安裝時才發現, 原來這個 Ollama 是用 GO 程式寫的
Ollama是一個開源的框架,旨在幫助用戶在本地機器上運行和管理大型語言模型(LLMs),如Llama 3.3、DeepSeek-R1、Phi-4和Gemma 2等。以下是Ollama的一些主要特點和功能:
主要特點
-
簡單的安裝與使用
Ollama支持多種操作系統,包括macOS、Windows和Linux,用戶可以通過簡單的命令安裝和運行模型。 多種模型支持
Ollama提供了多種大型語言模型,並且用戶可以輕鬆下載和運行這些模型。
模型自定義
Modelfile
來導入和配置模型。REST API支持
社區集成
總結
Ollama是一個功能強大且易於使用的框架,適合希望在本地環境中運行和管理大型語言模型的開發者。它的簡單安裝過程、豐富的模型庫和靈活的自定義選項,使其成為當前AI開發中的一個重要工具。
安裝
可以參考這個 Ollama 的 developer guide
(1) 下載
% git clone https://github.com/ollama/ollama
(2) 執行 ollama server
% go run . serve
Deepseek
DeepSeek R1是一款由DeepSeek公司於2025年1月20日發布的開源大型語言模型(LLM),專注於推理能力的提升,特別適用於數學、編碼和邏輯等複雜任務。以下是DeepSeek R1的主要特點和功能:
主要特點
-
強大的推理能力
DeepSeek R1設計上強調邏輯推理和問題解決能力,能夠在數學證明、編碼生成及科學問題解答等方面表現出色。該模型在美國邀請數學考試(AIME)中達到了約79.8%的正確率,在MATH-500基準測試中則達到了97.3%的高正確率,顯示出其在數學推理方面的優越性能。 -
混合專家架構(MoE)
DeepSeek R1採用了混合專家架構,總參數量達6710億,但每次推理僅激活37億參數,這樣的設計使得模型在保持高性能的同時,能夠有效管理計算資源。 -
強化學習訓練
該模型的訓練過程主要依賴於強化學習(RL),而非傳統的監督式微調(SFT)。這種方法使得模型能夠自我發現和優化推理策略,並在多個階段中進行訓練,以提升其推理能力和生成質量。 -
開源與可訪問性
DeepSeek R1是完全開源的,並以MIT許可證發佈,這使得研究人員和開發者可以自由使用、修改和分發該模型。這種開放性不僅降低了使用成本,還促進了社區的參與和貢獻。
應用場景
-
學術研究
DeepSeek R1在數學和邏輯推理方面的強大能力使其成為學術研究的有力工具,特別是在需要高精度推理的領域。 -
編程輔助
該模型在編碼任務中表現出色,能夠自動生成代碼和進行除錯,為開發者提供強大的支持。 -
商業分析
DeepSeek R1也可應用於金融建模和市場分析等複雜任務,利用其高效的推理能力進行準確的數據分析和決策支持。
總結
DeepSeek R1代表了大型語言模型在推理能力方面的一次重要進步。其開源性、強化學習訓練方法以及在多個領域的應用潛力,使其成為當前AI技術發展中的一個重要選擇。無論是在學術界還是商業領域,DeepSeek R1都展現了其強大的實用價值。
(1) 開另一個 Terminal 視窗
(2) 在 上面 Ollama git clone 的目錄下, 會有個 ollama 的執行檔, 來試試 14b
% ./ollama run deepseek-r1:14b
這個 14B 的大概是 9GB 大小
測試:
太好了, 連中文都會;
把 wifi 斷線, 確保是 offline
來試試以前看 演算法的圖論的習題第一題 - 此網頁
實驗結果正確 (記錄在上述網頁中), Deepseek R1 厲害, chatgpt 3.5 版還不會做的,
它已經會做了. 看來 Deepseek R1 或許可以來教我唸數學圖論.
--
日文測試:
先前考 chatgpt N1 的閱讀測驗題 - 此網誌
可惜 Deepseek 答錯了... 從 think 中有發現 Deepseek 有考量正確答案3,
日文果然是門困難的語言...
留言
請問整套跑起來吃多少資源?
回覆刪除安裝時, 只記錄了 deepseek14B 這包大概是9G 大小, 其他程式忘了算, 但應該不大; 執行時, CPU resource 幾乎都還是9x% idle, 沒怎麼花費, Memory resource 會吃比較兇, 會多吃6G的memory;
刪除