早上9:30,「查岗」比写代码更重要
"很多人以为我们每天在调参。其实我的一天是从看线上状态开始的。"
李明(化名)是国内某中型科技公司的大模型开发工程师,团队负责给企业客户做内部知识库问答系统——简单说,就是把客户几百G的制度文件、工单记录、产品手册灌进大模型,让员工能用自然语言问问题,AI给答案并附出处。
9:30他打开监控面板,先看四条线:
接口成功率(不能低于99.5%)
P95响应时间(超3秒用户就骂娘)
Token消耗/天(直接=钱)
日志异常分布(哪种问法触发了兜底空答)
"大模型应用开发最反直觉的地方,"李明说,"不是让它变聪明,是让它别乱说话、别慢、别烧钱。"
上午10:30–12:00:一条链路上叠着五六层暗坑
今天要修一个"知识清洗→召回→生成"的链路bug:某些包含表格的政策文档,切片后被截断,导致模型回答时漏掉了关键金额阈值。
他的排查动线长这样:
原始文档 → PDF解析质量差(表格丢格式)
清洗规则 → 正则没覆盖这种嵌套表
切片策略 → chunk_size=500切到了行中间
向量召回 → top_k=5没把相关片段全捞回来
Prompt拼接 → 上下文塞太多→触到窗口上限→尾部截断
兜底逻辑 → 没召回结果时返回了默认话术,用户以为"AI答非所问"
"你改一个地方,可能牵连三处。"他说这话时正在把chunk_size策略从固定值改成语义边界感知的分段逻辑,同时给每个chunk打上source_table=true标签,方便重排器加权。
这就是大模型开发工程师的日常——表面叫'AI工程师',骨子里是数据管道工+可靠性工程师+产品支持的三合一。
下午:需求、测试、业务三方围堵
13:30产品过来:"客户想加一个'导出PDF报告'的功能。"
14:00测试补了一组边界case:问"去年的"但文档里日期格式不统一→召回失败。
15:30业务催上线时间。
16:30开始对接口、对齐异常场景、过实习生的PR。
"大模型的需求,看起来是'小调整',实际可能波及Prompt、知识库结构、接口耗时、缓存策略、甚至计费模型。"李明说,"你不是写完代码就完了,你要接住上线后的所有不确定性。"
18:30以后,他把今天的改动写了个简短的问题定位笔记——不是给领导看的,是给明天的自己留线索。
所以……这行到底凭什么拿高薪?
不是因为"AI高大上"。是因为:
稀缺能力 | 为什么值钱 |
能把非结构化文档变成可信QA系统 | 直接替代人力、降低错误率 |
能在成本和效果之间做工程取舍 | Token烧起来一天几万,没人拦得住 |
能处理"偶发线上诡异行为" | 这类问题不上手根本解不了 |
企业付的不是AI的钱,是"确定性"的钱。
如果你也想走这条路:三种入场姿势(按性价比排序)
🥇 姿势一:在职程序员转型(最快,3–6个月见效)
你已经有编程基础,只需补:
Python异步+FastAPI(2周)
向量数据库(Milvus/Pinecone/Faiss)基础
跑通一个完整RAG demo(带评估集和Bad case分析)
读透一两篇工程博客(如"我们怎么把RAG准确率从62%提到91%"那种)
李明的建议:别急着考证,先做出一个能演示的东西。证书后面补,用来规范化你的知识框架。
🥈 姿势二:应届/零基础——走"应用开发"不碰"底层训练"
入门顺序:
Python基础 + Linux命令行
大模型基础认知(Transformer直觉,不需推导到底)
Prompt工程 + LangChain + 向量数据库
一个小项目(校内问答/简历助手/选题指导都行)
再考虑通过工信教考中心等体系内的职业技术认证来做系统梳理和简历背书——但始终记住:项目经历 > 证书。
🥉 姿势三:直攻算法研发(最难,但天花板最高)
这条路需要数学/CS底子扎实,走的是:
深度学习理论 → PyTorch → 分布式训练 → LoRA/QLoRA → 多模态
最好有硕博背景或顶会/开源贡献铺路
适合本来就学这个的人,不适合当作"转行捷径"。
工信教考中心大模型开发工程师认证办理青蓝智慧丁老师:135-2209-4648
大模型开发工程师这个岗位,没有网上说的那么神秘,也没有培训机构画的那么轻松。
它是一个非常具体的工程岗位——你的敌人不是"AI觉醒",而是PDF解析器、向量相似度阈值、Token计费账单和凌晨三点的一条异常日志。
但正因为如此,它才值钱。因为能把这些琐碎全部兜住的人,市场上真的很少。
