本地部署大模型怎么做:Ollama 与 vLLM 的显存换算、量化选型和并发实测
本地部署大模型的关键不是装哪个工具,而是先把显存账算清:模型权重加 KV Cache 必须留足余量。本文给出 Ollama 与 vLLM 的选型边界、量化档位对照表和并发容量估算方法。
按 Esc 关闭
本地部署大模型的关键不是装哪个工具,而是先把显存账算清:模型权重加 KV Cache 必须留足余量。本文给出 Ollama 与 vLLM 的选型边界、量化档位对照表和并发容量估算方法。
AI 编程智能体要能跑命令、改文件,就等于拿到了你机器的部分权限。本文讲清 GitHub Copilot 本地沙箱与云沙箱怎么开、文件系统/网络/凭据三类策略怎么划、devcontainer 与 Codespaces 怎么选,并给出 6 条…
长时运行智能体跑偏的根因不是模型不够强,而是每个上下文窗口都从零开始。本文给出 Anthropic 官方验证的双阶段 harness:initializer agent 铺环境、coding agent 每轮只做增量推进,并附进度文件写法、…
选 Embedding 模型,MTEB 榜单只是入围名单不是答案。真正决定 RAG 效果的是语言覆盖、向量维度与存储成本、上下文长度、query/document 前缀约定、吞吐预算五个维度。本文给出可执行的选型顺序、常见前缀对照表与换模型…
上下文工程的核心是在有限的注意力预算里只放入最小且高信号的 token 集合。本文拆解上下文腐烂、系统提示的正确高度、最小可用工具集、少样本示例、压缩、外部笔记与子代理六项实操动作,附带可复制的落地清单与常见误区。
RAG 召回质量的上限由切分决定:事实问答用 64-128 token 小块,需要上下文理解用 512-1024 token 大块,重叠率取块大小的 10%-20%。本文给出 4 种切分策略的适用场景与可直接套用的参数。
提示词注入防不住单点,只能靠分层:输入筛查、系统提示硬化、工具结果隔离、JSON 封装、最小权限、输出复检、红队演练。本文按 Anthropic 官方防护框架给出 7 层可落地的做法与代码。
大模型推理成本靠换便宜模型降不下来,要做工程治理:稳定提示词前缀拿缓存折扣、按难度分级路由模型、控制输出长度、批量异步化、加预算告警。附 OpenAI 官方缓存数据与四个缓存杀手排查。
AI 代码审查的正确姿势是让智能体先做机械扫描,人只保留追溯关键路径与判断安全边界。本文给出 6 步审查流水线、时间预算、巨型 AI PR 拆分法与自定义审查指令,帮团队把常规 PR 审查压到 5 分钟。
Gemini CLI 进阶不止基础对话。本文讲透 GEMINI.md 项目记忆、@ 引用与斜杠命令、extensions 扩展、MCP 工具接入与权限策略,附一份可直接复制的高效工作流配置。
多智能体(Multi-agent)编排靠 Lead 编排器拆分任务、Subagent 并行执行并只回传精炼结论。本文结合 Anthropic 多智能体研究系统,给出角色划分、委派提示、力度缩放与工具设计的 5 条实战原则。
AI Agent 记忆分短期(上下文延续)与长期(跨会话知识)两层。本文用 Anthropic 官方实践讲清记忆工具、上下文编辑、结构化笔记与向量库的落地方案,并给出可直接套用的代码骨架。
OpenAI 在 GPT-6 Astra 之后推出了 Sol 与 Luna 两款新模型,专门面向 Codex 与 ChatGPT Work 的工程与高吞吐场景,token 价格比 GPT-5.6 更低。本文讲清两者定位、适用场景与接入方式。
GitHub Copilot coding agent 近期更新了模型选择器、自审查、内置安全扫描、自定义代理和 CLI 上下文交接五项能力,让后台 AI 编程代理从写完代码进化到交付可合并的 PR。本文拆解每项功能怎么用、适合什么场景。
部署 AI 智能体不能只靠发布前评测。Anthropic 的实测数据显示:多数智能体动作低风险且有人把关,但高风险部署正在增多;上线后监控、让模型识别自身不确定性和明确划定范围,才是控风险的关键。
OpenAI Codex CLI 是开源的本地智能体编程工具,围绕 agentic coding 工作流重建:支持图片上下文、待办清单、Web 搜索与 MCP、三级审批模式,能把写功能、重构、跑测试压成一条命令端到端完成。
Buy me a coffee
您的支持是我持续更新的动力