Ollama

Ollama là một trình chạy AI cục bộ giúp bạn dễ dàng sử dụng các mô hình mã nguồn mở ngay trên máy tính của mình. Moltbot tích hợp sâu với Ollama và có thể tự động khám phá các mô hình có khả năng sử dụng công cụ (tool-capable) khi bạn cung cấp một khóa API bất kỳ (Ví dụ: ollama-local).

Khởi động nhanh

Cài đặt Ollama: Truy cập ollama.ai để tải về.

Tải mô hình:

ollama pull llama3.3
# hoặc các mô hình khác như qwen2.5-coder, deepseek-r1

Kích hoạt trong Moltbot:
```
export OLLAMA_API_KEY="ollama-local"
```

Sử dụng trong cấu hình:

{
  agents: {
    defaults: {
      model: { primary: "ollama/llama3.3" }
    }
  }
}

Cơ chế tự động khám phá mô hình

Khi bạn bật Ollama, Moltbot sẽ tự động quét các mô hình đang có trên máy của bạn tại địa chỉ http://127.0.0.1:11434.

Bot sẽ lọc và chỉ lấy các mô hình có hỗ trợ tính năng gọi công cụ (tools).
Tự động nhận diện các mô hình có khả năng suy nghĩ (reasoning) như DeepSeek-R1.
Tự động thiết lập chi phí bằng 0$ vì tất cả chạy trên phần cứng của bạn.

Các mẹo nâng cao

Thay đổi địa chỉ máy chủ: Nếu Ollama chạy trên một máy tính khác trong mạng nội bộ, bạn có thể chỉ định baseUrl trong file cấu hình.
Sức mạnh suy luận: Hãy ưu tiên các mô hình như deepseek-r1:32b hoặc llama3.3 để có kết quả phản hồi tốt nhất.

Giải quyết sự cố

Không tìm thấy Ollama: Đảm bảo dịch vụ Ollama đang chạy (ollama serve). Bạn có thể kiểm tra bằng lệnh moltbot models list để xem bot đã nhận được mô hình chưa.
Không thấy mô hình trong danh sách: Moltbot mặc định giấu các mô hình không hỗ trợ gọi công cụ. Nếu bạn vẫn muốn dùng, hãy khai báo mô hình đó thủ công trong file cấu hình.

Tài liệu liên quan: Cấu hình AI cục bộ, Lựa chọn mô hình AI.

2.5 KiB Raw Blame History

Ollama

Khởi động nhanh

Cơ chế tự động khám phá mô hình

Các mẹo nâng cao

Giải quyết sự cố

2.5 KiB

Raw Blame History