四、运行管理
政务部门应强化政务领域人工智能大模型运行管理,健全管理制度、运行模式和安全要求,有序推进人工智能大模型技术、产品和服务在政务领域部署应用。
(一)明确应用管理要求
政务部门应统筹减负和赋能,严格落实《整治形式主义为基层减负若干规定》《关于防治“指尖上的形式主义”的若干意见》等相关要求,避免盲目追求技术领先、概念创新,避免重复建设、无效建设,避免未审先建、建而不管,避免强制使用、无效使用,避免数据多头采集、重复索要,切实防范“数字形式主义”。中央和国家机关政务领域人工智能大模型部署应用应纳入国家政务信息化规划统筹。政务部门应建立健全涵盖政务领域人工智能大模型部署应用全周期管理体系,明确应用方式和边界,落实人工智能大模型“辅助型”定位,及时解决部署与应用过程中出现的新问题。应在政务大模型应用界面显著位置设置风险提示,明确告知大模型服务的局限性,做好大模型输出内容标识。对于智能问答、辅助办理等代表政务部门面向公众和企业提供服务的人工智能大模型应用场景,应严格执行内容审核制度流程,结合场景特点和技术能力合理采用人工审核、生成内容实时风控、多模型交叉校验等措施,防范模型“幻觉”等风险,确保输出内容不超出业务范围,保障内容准确性,维护政务部门公信力。
(二)持续推动迭代优化
政务部门应将持续迭代优化作为人工智能大模型部署应用的关键环节,建立常态化更新机制,加快功能优化,深化场景应用。密切关注技术发展动态,持续更新优化政务领域人工智能大模型的基础模型和安全能力。建立高效数据收集处理机制,及时更新支撑人工智能大模型运行的输入数据和知识库,并适时进行清洗、标注,补充优化训练数据集,持续提升模型能力。建立政务领域人工智能大模型用户评价反馈机制,及时收集、处理用户需求,以用户反馈驱动迭代优化。
(三)扎实做好安全管理
政务部门应建立安全责任制度,明确数据处理、大模型训练和场景应用各阶段参与主体的安全职责和任务,做好用户身份识别和权限管理。政务部门提供人工智能大模型服务时,应遵守《生成式人工智能服务管理暂行办法》等相关规定,使用具有合法来源的数据和基础模型,依法履行算法备案和安全评估等义务,与使用者签订服务协议,明确双方权利义务。构建政务领域人工智能大模型分类分级治理制度,完善安全管理流程,针对可能出现的安全风险,制定应急处置预案。做好政务大模型对抗攻击的检测与处置,识别并拦截提示词注入、资源消耗攻击等。加强政务大模型内容安全管理,综合运用语义识别、规则库、模型算法等,做好多模态输入输出内容的识别、分析与管控,建立合理的代答、拒答机制,及时发现并处置违法和不良信息、敏感内容等。发挥新闻媒体内容审核优势,做好政务大模型训练数据的内容审核把关,加强政务大模型内容监测管理。做好政务大模型应用运行日志管理,定期对日志记录进行审计。推动形成安全风险威胁信息共享和应急处置机制,按照规定及时处置并报告安全事件,提升人工智能安全风险应对能力。
(四)严格落实保密要求
政务部门在模型训练、部署应用等过程中应加强数据安全保密和个人信息保护,坚持底线思维,严格落实“涉密不上网、上网不涉密”等保密纪律要求,采取加装保密“护栏”等措施,防止国家秘密、工作秘密和敏感信息等输入非涉密人工智能大模型,防范敏感数据汇聚、关联引发的泄密风险。制定完善人工智能大模型在政务领域应用相关保密管理制度,规范人工智能大模型选型、部署、训练、使用、废止等全流程保密管理。涉密信息系统应用人工智能大模型按照国家保密行政管理部门要求稳妥推进。
五、保障措施
(一)加强组织实施 加强统筹协调,稳妥有序推动人工智能大模型在政务服务、社会治理、机关办公、辅助决策等领域规范应用。加快推进政务领域人工智能大模型国家标准体系建设和重点标准研制,明确应用效果评估、系统技术要求、智能技术应用等工作规范,支撑部署应用取得实效。及时总结推广政务领域部署应用人工智能大模型的典型场景和创新应用,推动复用增效。加强政务领域人工智能大模型部署应用经费保障,引入市场化的产品和服务竞争机制,探索企业建设运营、政府购买服务、按使用情况结算费用的运作模式,营造高效、可持续的政务大模型生态。
(二)开展监测评估 构建政务领域人工智能大模型部署应用全流程监测评估体系,适时开展监测评估工作。建立政务大模型安全测评机制,上线前对模型算法、生成内容、应用功能、配置环境、挂接数据、漏洞风险等进行充分测试验证,对发现的问题隐患进行整改加固。加强政务领域人工智能大模型系统运行状态、响应时间、准确性、安全性和潜在风险的实时监测分析,及时发现问题,并采取有效措施解决。做好人工智能大模型应用效能评价,及时总结经验,持续迭代优化,推动部署应用取得实效。
(三)做好培训宣传 开发涵盖人工智能大模型理论、技术、应用、安全、伦理、产业等内容的培训课程体系,开展人工智能素养和技能培训,提升领导干部对人工智能的认知水平,增强工作人员应用能力和水平。面向公众做好宣传教育,提升全民数字素养,积极回应用户关切,正确引导社会对政务领域人工智能大模型适用人群、场景、用途的认识和预期,客观反映人工智能大模型在优化政务服务、满足公众和企业需求、提升社会治理水平等方面的作用。
