该系统基于Baichuan2-7B-Chat模型,通过LoRA、DPO与RAG技术组合微调,聚焦银行对公业务智能问答场景开发。开发背景是银行对公业务产品条款多、政策更新快,传统人工咨询存在服务口径不统一、效率低、人力成本高的问题,且无法满足企业客户7×24小时咨询需求,垂类大模型技术发展为解决这些痛点提供了可能。
系统采用“离线训练+在线推理”双层架构。离线训练层从银行官网、FAQ文档等采集10万条问答数据,经处理后用LLaMA-Factory框架完成LoRA微调以记忆业务知识,再用1万对偏好样本进行DPO调优;在线推理层将知识库切分向量化存入FAISS向量库,用户查询时匹配相关片段并可结合实时搜索,整合后输入模型生成带引用的结构化回答。
系统可覆盖开户、贷款、跨境金融等对公场景咨询,支持多轮对话与主动澄清,还能为客户经理提供知识查询、话术生成等支持。企业客户通过银行多渠道提问,2.5秒内获结构化回答,客户经理可登录内网查询政策,TruLen综合评分达87.8分,能降低咨询成本、缩短服务等待时间。