分类: AI教程

专注于为你提供简单易懂、系统全面的人工智能学习内容,无论是初学者还是进阶者,都能在这里找到实用的教程和实操指导,轻松开启AI学习之旅。

  • deepseek本地部署最简教程3-搭建个人AI知识库

    deepseek本地部署最简教程3-搭建个人AI知识库

    1 简介
    在上一篇推送中(deepseek本地部署最简教程),我们介绍了基于Ollama的本地部署。尽管本地化部署的DeepSeek模型在算力规模和功能完备性上无法媲美云端全量版本,但只要喂给它「独家秘方」——也就是你电脑里的文档、代码、笔记这些干货,它立马就能变身成你的专属知识小助手!

    2 准备
    自己从头搭建个人知识库就像手工造汽车——理论可行但太费劲。这里推荐一个「懒人神器」:AnythingLLM。它能帮你把电脑里的文档(PDF/Word/代码文件都行)变成会聊天的知识库,操作就像把文件拖进文件夹一样简单!

    用这个工具你可以:

    ✅ 随时提问:比如“上周写的Verilog代码在哪?”直接对话就能找到;写RTL代码卡壳时,它能秒查你去年写的相似案例;面对几十份会议纪要,直接问它就能提取关键结论。

    ✅ 保护隐私:所有资料都存在自己电脑里,不怕泄露

    ✅ 跨格式支持:无论是技术文档、会议记录还是代码片段都能处理

    整个过程只需要三步:

    把文件拖进软件

    等它自动分析(喝杯咖啡的时间)

    开始用自然语言提问

    相当于给你的电脑配了个24小时待命的资料管家,特别适合经常需要查旧文档的技术人员!

    3 下载AnythingLLM
    以下是下载链接:

    https://anythingllm.com/desktop

    使用管理员模式安装

    4 配置
    先确保ollama是开启状态,然后搜索ollama

    选择deepseek模型
    在 AnythingLLM 的本地部署配置中,MAX Token(最大令牌数) 是一个关键参数,主要用于控制语言模型(LLM)处理文本时的输入和输出长度限制。
    语言模型(如 GPT)单次处理的文本长度受硬件和算法限制。MAX Token 决定了模型单次请求能处理的 输入+输出 的 Token 总数上限。超过此值会导致截断或报错。
    Token 并非严格等于单词或汉字。例如,英文中 1 Token ≈ 4 字符,中文中 1 汉字 ≈ 2-3 Token
    在问答或生成场景中,该参数直接影响 AI 生成回答的最大长度。例如设置为 512,则回答内容会被限制在约 512 个 Token(约 380 个汉字或 700 英文单词)。

    点击下一步

    填写自己的邮箱

    填写工作区名称

    设置中文

    上传文档


    将文档放到工作区

    保存

    更新中

    更新成功

    5 测试结果
    可以看到deepseek可以理解文档中的内容

    6 写在最后
    当然,AnythingLLM还具备其他功能,如代码托管和官方API的接入等,受篇幅所限,本文不再展开论述,各位可自行探索。需要注意的是,本地部署的AI回答精准度仍然受到硬件性能的制约。建议开发者参考以下硬件选型策略,轻量级部署:RTX 3060(12GB)+32GB DDR4+1TB SSD(支持7B参数模型实时推理);企业级方案:A100 80GB*4+NVLink+Optane持久内存(满足千亿级Token知识库毫秒响应)。

  • deepseek本地部署最简教程2-(GUI,图形用户界面)

    deepseek本地部署最简教程2-(GUI,图形用户界面)

    1 简介
    在上一篇推送中(deepseek本地部署最简教程),我们介绍了基于Ollama的本地部署。然而,目前我们的对话仍需通过CMD进行操作,这在便捷性上有待提升。本期内容将采用GUI方式调用Ollama API,并实现完整的GUI对话功能。
    2 为什么选择ollama
    先回答之前读者的问题,为什么选择ollama而不是lm studio,对于不同需求的用户,可自行选择:

    非技术用户/快速验证:无脑选LM Studio

    开发者/需自定义模型:选Ollama,虽然初期配置复杂,但后续可扩展性强(支持API、Docker等)

    3 安装chatbox
    Chatbox AI 是一款桌面客户端应用,旨在为用户提供更便捷、高效的方式与 AI 交互。以下是下载链接:
    https://chatboxai.app/

    4 配置环境变量
    OLLAMA_HOST 和 OLLAMA_ORIGINS 是 Ollama 的配置环境变量,用于配置 Ollama 与其 API 服务器之间的通信。

    OLLAMA_HOST,用于指定 Ollama 服务监听的主机地址和端口。默认情况下,Ollama 会绑定到 127.0.0.1:11434(仅本地访问)。通过修改此变量,可以实现以下场景:
    允许其他设备通过局域网访问 Ollama。
    在 Docker 容器或云服务器中运行时,开放对外访问。
    我们可以配置为0.0.0.0, 表示开放到所有IP,允许所有网络接口访问

    OLLAMA_HOST=0.0.0.0:11434

    OLLAMA_ORIGINS,用于控制 Ollama API 的跨域请求来源(CORS)。默认情况下,Ollama 仅允许同源请求(即与 API 同域名/端口)。若需要从其他域名或端口调用 API(例如通过自定义 Web 前端),需通过此变量指定允许的来源。

    # 示例:允许特定域名或端口OLLAMA_ORIGINS=http://localhost:3000,https://example.com

    我们可以配置为*, 表示允许所有来源

    OLLAMA_ORIGINS=*

    至于windows如何配置用户环境变量,可自行百度或bing搜索


    5 配置ChatBox
    打开ChatBox,选择模型提供方OLLAMA API,选择对应的模型deepseek r1


    6 测试
    如果我们之前打开过ollama,需要先关掉(一般在右下角图标中)

    然后,打开cmd运行以下命令,启动ollama服务:

    ollama serve

    之后,我们就可以使用gui来进行对话了


    7 写在最后
    无论是DeepSeek,还是ChatGPT,作为先进的生产工具,如果能够合理有效地运用,都能对我们的工作和学习产生极大的帮助。它们不仅能够提升工作效率,减少重复性劳动,还能够帮助我们更好地解决问题、拓宽思维和提高创新能力。特别是在快速变化的时代,掌握和利用这些工具,不仅能让我们在专业领域中保持竞争力,也能为个人成长和知识积累提供强有力的支持。
    但需强调的是,真正的价值创造仍需以人类的专业判断力为前提——保持批判性思维,善用提示词工程精准表达需求,将AI输出与专业知识体系深度融合,方能实现从工具应用到认知升级的质变。

  • deepseek本地部署最简教程1

    deepseek本地部署最简教程1

    1 简介
    随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)逐渐从云端走向本地,为开发者、研究者和技术爱好者提供了更灵活、更私密的应用可能。国产DeepSeek 作为一款高效且功能强大的开源大模型,凭借其毫不逊色于Chatgpt的推理能力和对中文场景的深度适配,成为许多用户探索本地智能化的首选工具。
    然而,对于非专业开发者或刚接触本地部署的用户而言,复杂的配置流程、环境依赖和资源管理往往令人望而却步。本文旨在通过极简的步骤、清晰的说明和实用的技巧,帮助小白用户在最短时间内完成从零部署的流程。

    2 环境介绍
    windows:win11

    3 安装ollama
    Ollama 是一个提供开源、简便且高效的工具平台,旨在使开发者能够在本地环境中运行和部署大型语言模型(LLMs)。Ollama 可以让用户轻松地运行一些主流的、开源的 LLM 模型,而无需依赖云服务,支持在本地服务器或个人计算机上进行推理任务。因此我们deepseek的载体就是ollama。

    在官网下载ollama
    https://ollama.com/

    安装ollama

    4 安装deepseek模型
    打开ollama官网,右上角models找到deepseek模型


    选择模型版本,在人工智能领域,模型名称中的 1.5B、7B、8B 等数字代表模型的参数量(Parameters),其中 B 是英文 Billion(十亿) 的缩写。参数越多,模型通常更“聪明”(能处理更复杂的任务),但对硬件资源(显存、内存)的要求也更高。个人用户可优先 7B(通用性最佳),若设备较弱则选 1.5B,开发者可选 8B。

    以下是各版本的介绍

    找到对应的命令,复制


    然后输入到cmd中:
    ollama run deepseek-r1:1.5b

    如果是7b,以此类推:
    ollama run deepseek-r1:7b

    需要等待一段时间下载

    5 使用deepseek
    打开cmd,输入所下版本同样的命令,则可以使用deepseek:

    ollama run deepseek-r1:1.5b

    6 ollama大模型安装路径更改
    如果我们使用windows系统安装,ollama默认安装在系统盘,而往往系统盘的容量不够大,我们可以将deepseek安装到其他盘中,但目前,ollama 本身并没有提供直接的、官方的选项来修改模型存储路径。我们可以使用符号链接的方式将对应文件夹链接到D盘文件夹,这样ollama读写文件只会读写对应D盘的链接文件夹。
    首先,我们找到ollama模型的安装位置:

    Linux/macOS: ~/.ollama/

    Windows: C:\Users\<YourUser>\.ollama\

    删除models文件夹:

    在D盘创建一个新文件夹,如
    D:\OllamaModels\

    用管理员打开cmd,进行符号链接,然后再下载deepseek文件夹:
    mklink /D C:\Users\<YourUser>\.ollama D:\OllamaModels

    7 写在最后
    本文主要介绍了 DeepSeek 的最简安装方法,后续将继续更新,介绍如何将 DeepSeek 集成到图形化界面中。