跳转到主要内容

首页留言板登录

Bithu咖啡馆

关于技术、代码和一切之间的事情。

页面

关于留言板标签

订阅

Next.jsReact前端架构性能优化Web 安全开源

© 2026 Bithu咖啡馆。保留所有权利。

LLM 应用开发工程化：从 Prompt 到生产 — Bithu咖啡馆

目录

引言
一、Prompt 工程：把模型调教成你想要的形状
一个能落地的 Prompt 骨架
温度与确定性
二、结构化输出：别让模型"自由发挥"
方式一：JSON Mode
方式二：Structured Outputs / 强制 Schema
落地建议
三、Function Calling：让模型"调用"你的代码
工作流
工程要点
四、流式输出：首字延迟决定体验
服务端转发 SSE
前端消费
五、缓存与成本控制：把账单按下去
提示词缓存（Prompt Caching）
语义缓存
模型路由
一句话的成本清单
六、评测：没有评测就没有"上线"
先建黄金数据集
LLM-as-Judge：用更强的模型当裁判
该测哪些维度
七、可观测性：让每一次调用都"有迹可循"
该记录什么
用什么工具
八、常见陷阱：这些坑几乎人人踩过
1. 幻觉：模型一本正经地胡说
2. Prompt 注入：用户一句话攻破系统
3. 上下文窗口溢出
4. 过度依赖 JSON Mode
5. 无限重试与成本失控
6. 把演示当生产
结语

AIFunction CallingLLMPrompt 工程前端工程化

LLM 应用开发工程化：从 Prompt 到生产

2026年8月15日0 次阅读约 23 分钟阅读