Bìa
- Tải xuống Ollama
- Chạy mô hình
- Sử dụng qua trình duyệt
- Tạo GPT riêng của bạn
Trước tiên, chúc mọi người năm mới vui vẻ, thành công trong mọi dự định và gia đình hạnh phúc. Gần đây, DeepSeek đã được ra mắt, người ta nói rằng sức mạnh tính toán của nó ngang bằng với mô hình o1, có chức năng tự kiểm tra, chuyên về mã hóa, suy luận và các lĩnh vực chuyên môn khác. Tôi đã xem nhiều video sử dụng nó trên mạng, dường như hiệu quả rất tốt, ở đây tôi sẽ hướng dẫn cách triển khai cục bộ.
Ollama là một ứng dụng chạy mô hình cục bộ, trang web chính thức là , biểu tượng là một con lama dễ thương. Hãy đến để lấy cách tải xuống, nó hỗ trợ Windows, Linux và MacOS. Hệ điều hành của tôi là Ubuntu, lệnh tải xuống là:
|
|
Shell Tôi Nhà Cái S88 trực tiếp tải install.sh về cục bộ, sau đó chạy.
|
|
Shell !Tải xuống Ollama Tải xuống Ollama Sau khi tải xuống xong, khởi động dịch vụ, trên thanh tác vụ của một số hệ thống game nổ hũ 88 sẽ xuất hiện biểu tượng con lama nhỏ.
Chạy mô hình
Tiếp theo, trên trang web chính thức của Ollama tìm kiếm “deepseek-r1”, bạn sẽ thấy có nhiều mô hình với kích thước khác nhau, mô hình lớn đòi hỏi yêu cầu hệ thống cao hơn, tôi đưa bảng sau cho mọi người tham khảo:
Kích thước mô hình | Yêu cầu VRAM | GPU khuyến nghị | RAM cần thiết cho MacOS |
---|---|---|---|
1.5B | ~3GB (suý luận FP16)~14GB (suý luận INT8) | RTX 2060 / Mac GPU có thể chạy | 8GB |
7B | ~3GB (suý luận FP16)~14GB (suý luận INT8) | RTX 3060 12GB/ 4070 ti | 16GB |
8B | ~6GB (suý luận FP16)~16GB (suý luận INT8) | RTX 4070 / Mac GPU chạy hiệu quả | 16GB |
14B | ~28GB (suý luận FP16)~20GB (suý luận INT8) | RTX 4090 / Mac GPU chạy hiệu quả | 32GB |
32B | ~64GB (suý luận FP16)~48GB (suý luận INT8) | A100-80G / 2x Gtx 4090 | 64GB |
Mô hình mà tôi tải xuống là loại 7B. Thực tế, Ollama cũng đề xuất cho tôi mô hình cấp độ 7B. !Mô hình Mô hình Sao chép lệnh vào đầu cuối và chạy, khi thanh tiến độ đầy thì máy tính của chúng ta đã có khả năng chạy mô hình.
|
|
Shell !Chạy mô hình Chạy mô hình
Sử dụng qua trình duyệt
Đầu cuối có thể sử dụng mô hình, nhưng rõ ràng là không thuận tiện lắm, chúng ta có thể sử dụng qua trình duyệt. Trên trình duyệt tìm kiếm Chatbox và mở phiên bản web, đặt ngôn ngữ thành tiếng Trung Quốc, sau đó kích hoạt mô hình cục bộ, chọn API Ollama. !Phiên bản web Chatbox Phiên bản web Chatbox Để xác nhận Chatbox có thể kết nối với dịch vụ cục bộ, chúng ta cần cài đặt theo hướng dẫn mà nó cung cấp. !Kết nối dịch vụ cục bộ Kết nối dịch vụ cục bộ Hệ thống của tôi là Ubuntu, nên trước tiên tôi sửa cấu hình Ollama:
|
|
Shell Bạn có thể thấy rằng không có mục cấu hình nào hiệu quả, tất cả đều bị chú thích. Thêm đoạn mã dưới đây vào mục cấu hình.
|
|
Ini Sau đó khởi động lại systemctl và Ollama, truy cập qua trình duyệt ` is running” nghĩa là cấu hình thành công. Có thể có tường lửa hoặc dịch vụ khác ngăn chặn việc giao tiếp giữa phần mềm web Chatbox và Ollama cục bộ, mọi người cần kiểm tra. Quay trở lại phần mềm web Chatbox, bạn có thể thấy mô hình cục bộ Ollama có thể sử dụng được. !Chọn mô hình DeepSeek cục bộ Chọn mô hình DeepSeek cục bộ Để thuận tiện, tôi đã tải xuống phiên bản Linux của ứng dụng Chatbox, như vậy là thực sự sử dụng mô hình DeepSeek lớn cục bộ rồi.
Tạo GPT riêng của bạn
Trên phần mềm web Chatbox, chọn “người đồng hành của tôi”, nhập mô tả về GPT mà bạn mong muốn, ví dụ: !Nhập mô tả GPT mà bạn mong muốn Nhập mô tả GPT mà bạn mong muốn Bạn có thể tích hợp nó vào trình soạn thảo, có một công cụ lập trình AI miễn phí ngoại tuyến, cũng có thể dùng nó để viết công cụ kiểm thử tự động, hoặc làm kho kiến thức cá nhân của bạn. Điều quan trọng là toàn bộ quá trình miễn phí, vẫn có thể sử dụng khi mất kết nối mạng. !Đếm mô hình DeepSeek lớn Đếm mô hình DeepSeek lớn Cập nhật gần nhất Bài viết này được cập nhật lần cuối 3 tháng trước. Chủ đề Hướng dẫn