索引号:

11330100002489444E/2026-1010590117

公开方式:

主动公开

文号:

成文日期:

2026-09-04

发布单位:

杭州市发展改革委(杭州市支援合作局)

主题分类:

政务公开

AI第一城·场景培育系列|为AI装上“安全阀”

发布时间: 2026-09-04

来源: 杭州发改发布

编者按:杭州正全力培育“人工智能+”场景,通过开放真实应用场景,推动技术供给与产业需求精准对接,加速AI赋能千行百业。

在这一背景下,一批具备示范价值的创新方案涌现。即日起,我们将逐一走进前沿科技创新、产业转型升级、行业智慧监管、高效社会治理、普惠民生服务等方面杭州场景创新企业,探寻技术突破背后的创新逻辑与产业想象力。

为AI装上“安全阀”

君同未来:可信、可控、可管的AI治理之道

人工智能生态治理的四大层级

人工智能有“算力、数据、算法”三驾马车,拉着AI跑得足够快。可当技术跑入业务现场,一个问题随之而来——企业的目标、行为的边界、责任的归属,谁来约束?智能体开始独立承担任务,谁来驾驭这辆飞驰的马车?

在杭州“人工智能+”场景创新实践中,一个名为“AI+大模型全生命周期智能治理应用”的项目给出了答案——做AI的“体检医生”。 该项目由杭州君同未来科技有限责任公司(以下简称“君同未来”)牵头,联动浙江大学滨江研究院、杭州电子科技大学、杭钢云计算数据中心、鹏信信息、中控信息多家机构,覆盖多场景开展示范应用,探索将 AI业务目标、风险边界和责任要求,转化为一套可验证、可控制、可信任的治理机制。

直面痛点

智能体“想干啥、干了啥、干成了啥”

在项目团队看来,AI本质上是一个推理引擎——它完成各种任务,人们却往往看不清它的运作过程。 君同未来创始人韩蒙发现,智能体“想干啥、干了啥以及干成了啥”这三件事,恰恰是客户最迫切想知道的,而市场上几乎找不到能清晰回答这些问题的方案。

难在三重夹击:难在任务吞吐量极高,人工审核很难覆盖持续发生的大量任务;难在智能体的推理、规划和执行并不是一条直线,工具返回、环境变化或新信息都可能改变其行动路径;更难在可见的链式思维文本并不等同于真实的工具调用和最终结果,单独扫描“思考过程”,无法判断它是否越权、是否侵害权益、是否带来业务风险。

因此,管住AI,不能只看它“怎么想”,还要持续验证它“做了什么、产生了什么后果”。这正是项目的核心攻关方向:打造一道可伴随、可干预、可校验的“缰绳”。

尤其在交通、水务、金融、政务等场景中,AI一旦出错,后果远不止一次“抽盲盒”式的体验不佳。它可能以政府身份给出错误回答,可能侵害用户权益,甚至造成资源浪费。韩蒙和他的团队所做的,正是从这三个维度切入,为AI的规模应用补上合规、可信与保障的“必修课”。

君同AI大模型风险治理平台入选典型案例

技术破局

用AI校验AI,构建信任层

信任的前提是可验证。韩蒙认为,要解决AI的信任问题需要两手准备:一手是判断标准,另一手是检测优化工具。而“AI+大模型全生命周期智能治理应用”项目恰恰在这两方面都筑起了技术高墙。

先立标准——像医生体检一样做"三重诊断"。项目将AI体检拆解为三重维度:可量化的指标检测、空间维度的风险识别,以及依赖经验积累的综合判断。三层能力叠加判断风险是否可接受、应当如何处置。

再配工具——两条技术路径形成检测与优化的闭环。 其一是基于语义空间的风险发现与拦截。人类语言千变万化,“房间太热”“温度太高”“感觉又渴又干”意思相近,关键词却天差地别,传统拦截手段根本无从下手。项目团队引入向量化技术,将风险识别从“逐字匹配”升级为语义理解,在语义空间层面对齐风险特征,精准捕捉那些潜藏在多样化表达背后的违规倾向。“只有基于AI在向量空间上的防范能力,才能有效拦截AI带来的泛化风险”。

其二是借助“对抗学习”实现持续优化。检测出问题只是第一步,更重要的是在发现问题后能快速修补漏洞,让AI在每一次“体检”中自我进化,形成检测——发现——修复——再验证的完整闭环。

项目自主研发的“君合”系统可在AI部署前揪出潜在隐患,“君盾”系统则在运行时实现动态无感防护,二者合力覆盖400余种评测能力和100余项防御增强功能,兼容文本、图像、视频、音频等多种模态,使治理从“发现问题”进一步进入“处置问题、持续优化”的闭环。

协同落地

联合体打通底座到场景全链路

如果说技术是“内功”靠自我修炼,那么落地便是“外功”须结伴共创。“AI+大模型全生命周期智能治理应用”项目的一大看点,就是构建了一条从底层算力、到可信治理、业务场景的完整链路,联合多方力量各司其职、协同作战。

技术侧,君同未来承担“底座”角色。韩蒙介绍,公司负责整体方案设计、技术研发、产品集成与平台搭建,并推动治理能力在具体场景中示范应用。“第一要解决谁来担责,明确AI风险出现后的责任主体;第二要摸清风险藏在哪里,以及如何处置。”杭钢云计算数据中心则提供算力底座——“杭钢云负责算力,我们在算力之上再加一层信任”。杭州电子科技大学在学术理论和工程保障方面持续赋能。

场景侧,真实需求决定了治理不能停留在通用规则上。中控信息为项目提供工业领域大模型的应用场景,并围绕智慧交通等业务提出安全治理需求;鹏信则提供运营商侧大模型应用场景,聚焦AIGC等应用中的治理问题。对项目而言,这些伙伴不仅是应用落地的承接方,更共同界定了哪些错误不可接受、哪些行为需要限制、哪些结果应当作为上线和运行中的验收依据。

“我们几家伙伴组成了这次场景示范项目,业务侧有,底座侧也有,合在一起才真正解决得了问题。”韩蒙表示,这一模式不仅能服务当下的交通、水务、运营商等场景,而且让治理要求能够从“被提出”走向“被验证、被执行、被复用”,未来也具备向更多行业快速复制的潜力。

价值前瞻

为AI高质量发展保驾护航

“如果杭州是一座大金矿,所有人都在挖掘人工智能的未来,那我们的任务是保障这座金矿安全高效产出价值。”韩蒙如此定义君同未来的角色。在他看来,为这座城市AI的高质量发展保驾护航,正是团队最大的价值所在。

放眼全球,AI治理正从“可选项”变为“必选项”,监管体系也从模型层面延伸至智能体治理的全新阶段。 2024年欧盟通过《人工智能法案》;2026年我国《智能体规范应用与创新发展实施意见》正式出台,《中华人民共和国网络安全法》完成修订施行,金融行业首份AI全流程专项指导文件更明确了“谁使用谁负责”。

“AI发展越快,应用场景越多,治理需求就越迫切。国家立法越完善,我们的作用就越显著。”韩蒙表示,从模型到产品,从产品到场景,再到整个产业链,项目串联起AI全生命周期的治理闭环。这正是君同未来与联合体伙伴们,在杭州这片AI创新的热土上持续深耕的方向。(信息来源:杭州发改发布)

打印

政府信息公开

索引号

11330100002489444E/2026-1010590117

发布机构

杭州市发展改革委(杭州市支援合作局)

文号

发布日期

2026-09-04

AI第一城·场景培育系列|为AI装上“安全阀”

发布日期: 2026-09-04 09:32

浏览次数:

编者按:杭州正全力培育“人工智能+”场景,通过开放真实应用场景,推动技术供给与产业需求精准对接,加速AI赋能千行百业。

在这一背景下,一批具备示范价值的创新方案涌现。即日起,我们将逐一走进前沿科技创新、产业转型升级、行业智慧监管、高效社会治理、普惠民生服务等方面杭州场景创新企业,探寻技术突破背后的创新逻辑与产业想象力。

为AI装上“安全阀”

君同未来:可信、可控、可管的AI治理之道

人工智能生态治理的四大层级

人工智能有“算力、数据、算法”三驾马车,拉着AI跑得足够快。可当技术跑入业务现场,一个问题随之而来——企业的目标、行为的边界、责任的归属,谁来约束?智能体开始独立承担任务,谁来驾驭这辆飞驰的马车?

在杭州“人工智能+”场景创新实践中,一个名为“AI+大模型全生命周期智能治理应用”的项目给出了答案——做AI的“体检医生”。 该项目由杭州君同未来科技有限责任公司(以下简称“君同未来”)牵头,联动浙江大学滨江研究院、杭州电子科技大学、杭钢云计算数据中心、鹏信信息、中控信息多家机构,覆盖多场景开展示范应用,探索将 AI业务目标、风险边界和责任要求,转化为一套可验证、可控制、可信任的治理机制。

直面痛点

智能体“想干啥、干了啥、干成了啥”

在项目团队看来,AI本质上是一个推理引擎——它完成各种任务,人们却往往看不清它的运作过程。 君同未来创始人韩蒙发现,智能体“想干啥、干了啥以及干成了啥”这三件事,恰恰是客户最迫切想知道的,而市场上几乎找不到能清晰回答这些问题的方案。

难在三重夹击:难在任务吞吐量极高,人工审核很难覆盖持续发生的大量任务;难在智能体的推理、规划和执行并不是一条直线,工具返回、环境变化或新信息都可能改变其行动路径;更难在可见的链式思维文本并不等同于真实的工具调用和最终结果,单独扫描“思考过程”,无法判断它是否越权、是否侵害权益、是否带来业务风险。

因此,管住AI,不能只看它“怎么想”,还要持续验证它“做了什么、产生了什么后果”。这正是项目的核心攻关方向:打造一道可伴随、可干预、可校验的“缰绳”。

尤其在交通、水务、金融、政务等场景中,AI一旦出错,后果远不止一次“抽盲盒”式的体验不佳。它可能以政府身份给出错误回答,可能侵害用户权益,甚至造成资源浪费。韩蒙和他的团队所做的,正是从这三个维度切入,为AI的规模应用补上合规、可信与保障的“必修课”。

君同AI大模型风险治理平台入选典型案例

技术破局

用AI校验AI,构建信任层

信任的前提是可验证。韩蒙认为,要解决AI的信任问题需要两手准备:一手是判断标准,另一手是检测优化工具。而“AI+大模型全生命周期智能治理应用”项目恰恰在这两方面都筑起了技术高墙。

先立标准——像医生体检一样做"三重诊断"。项目将AI体检拆解为三重维度:可量化的指标检测、空间维度的风险识别,以及依赖经验积累的综合判断。三层能力叠加判断风险是否可接受、应当如何处置。

再配工具——两条技术路径形成检测与优化的闭环。 其一是基于语义空间的风险发现与拦截。人类语言千变万化,“房间太热”“温度太高”“感觉又渴又干”意思相近,关键词却天差地别,传统拦截手段根本无从下手。项目团队引入向量化技术,将风险识别从“逐字匹配”升级为语义理解,在语义空间层面对齐风险特征,精准捕捉那些潜藏在多样化表达背后的违规倾向。“只有基于AI在向量空间上的防范能力,才能有效拦截AI带来的泛化风险”。

其二是借助“对抗学习”实现持续优化。检测出问题只是第一步,更重要的是在发现问题后能快速修补漏洞,让AI在每一次“体检”中自我进化,形成检测——发现——修复——再验证的完整闭环。

项目自主研发的“君合”系统可在AI部署前揪出潜在隐患,“君盾”系统则在运行时实现动态无感防护,二者合力覆盖400余种评测能力和100余项防御增强功能,兼容文本、图像、视频、音频等多种模态,使治理从“发现问题”进一步进入“处置问题、持续优化”的闭环。

协同落地

联合体打通底座到场景全链路

如果说技术是“内功”靠自我修炼,那么落地便是“外功”须结伴共创。“AI+大模型全生命周期智能治理应用”项目的一大看点,就是构建了一条从底层算力、到可信治理、业务场景的完整链路,联合多方力量各司其职、协同作战。

技术侧,君同未来承担“底座”角色。韩蒙介绍,公司负责整体方案设计、技术研发、产品集成与平台搭建,并推动治理能力在具体场景中示范应用。“第一要解决谁来担责,明确AI风险出现后的责任主体;第二要摸清风险藏在哪里,以及如何处置。”杭钢云计算数据中心则提供算力底座——“杭钢云负责算力,我们在算力之上再加一层信任”。杭州电子科技大学在学术理论和工程保障方面持续赋能。

场景侧,真实需求决定了治理不能停留在通用规则上。中控信息为项目提供工业领域大模型的应用场景,并围绕智慧交通等业务提出安全治理需求;鹏信则提供运营商侧大模型应用场景,聚焦AIGC等应用中的治理问题。对项目而言,这些伙伴不仅是应用落地的承接方,更共同界定了哪些错误不可接受、哪些行为需要限制、哪些结果应当作为上线和运行中的验收依据。

“我们几家伙伴组成了这次场景示范项目,业务侧有,底座侧也有,合在一起才真正解决得了问题。”韩蒙表示,这一模式不仅能服务当下的交通、水务、运营商等场景,而且让治理要求能够从“被提出”走向“被验证、被执行、被复用”,未来也具备向更多行业快速复制的潜力。

价值前瞻

为AI高质量发展保驾护航

“如果杭州是一座大金矿,所有人都在挖掘人工智能的未来,那我们的任务是保障这座金矿安全高效产出价值。”韩蒙如此定义君同未来的角色。在他看来,为这座城市AI的高质量发展保驾护航,正是团队最大的价值所在。

放眼全球,AI治理正从“可选项”变为“必选项”,监管体系也从模型层面延伸至智能体治理的全新阶段。 2024年欧盟通过《人工智能法案》;2026年我国《智能体规范应用与创新发展实施意见》正式出台,《中华人民共和国网络安全法》完成修订施行,金融行业首份AI全流程专项指导文件更明确了“谁使用谁负责”。

“AI发展越快,应用场景越多,治理需求就越迫切。国家立法越完善,我们的作用就越显著。”韩蒙表示,从模型到产品,从产品到场景,再到整个产业链,项目串联起AI全生命周期的治理闭环。这正是君同未来与联合体伙伴们,在杭州这片AI创新的热土上持续深耕的方向。(信息来源:杭州发改发布)