皇冠信用网
热门标签

Telegram获取用户ID:人工智能安全风险分析及系统防御措施

时间:2个月前   阅读:24

chơi tài xỉu bóng đá(www.vng.app):chơi tài xỉu bóng đá(www.vng.app) cổng Chơi tài xỉu uy tín nhất việt nam。chơi tài xỉu bóng đá(www.vng.app)game tài Xỉu đánh bạc online công bằng nhất,chơi tài xỉu bóng đá(www.vng.app)cổng game không thể dự đoán can thiệp,mở thưởng bằng blockchain ,đảm bảo kết quả công bằng.


将一张“神奇贴纸”贴在脸上,就能让人脸识别门禁系统出现误判,毫无防备地为陌生人打开大门;把这张“贴纸”放在眼镜上对准手机,就能解锁其人脸识别系统,获取用户信息如入无人之境……这曾经只出现在科幻电影中的场景,如今已经在现实生活中发生。日前,首届人工智能安全大赛在北京举办,上述攻防场景在大赛中令不少观众直呼惊讶。


近年来,我国人工智能产业规模快速增长。据工信部发布数据显示,人工智能核心产业规模超过4000亿元,比2019年同期增长6倍多,企业数量超过3000家,比2019年同期增加15%,在制造、交通、医疗、金融等重点行业形成一批典型应用场景。“伴随应用场景日益广泛以及使用频次快速增长,人工智能安全风险发生的范围和可能性持续提高。”中国科学院院士、清华大学人工智能研究院名誉院长张钹认为,以深度学习为代表的算法爆发拉开了人工智能浪潮序幕,在计算机视觉、智能语音、自然语言处理等众多领域取得长足发展。但以数据驱动的第二代人工智能在可解释性、稳健性方面的缺陷也逐渐暴露出来,导致安全事件频发。如何实现高质量发展和高水平安全良性互动,是当前人工智能产业面临的最为重要命题。

中国信息通信研究院发布的《人工智能白皮书(2022年)》同样指出,随着人工智能应用暴露出各种风险和挑战,以及人们对人工智能认识的不断深入,人工智能治理已经成为全球各界高度关注的议题,对可信安全的呼声不断增多。


“人工智能安全风险主要从‘人’与‘系统’两个角度剖析。从人的视角看,人工智能安全风险存在技术滥用甚至‘武器化’问题。”北京瑞莱智慧科技有限公司CEO田天以深度合成技术为例解释,该技术能够大幅提升内容制作效率与质量,但其负向应用——深度伪造的风险正持续加剧且已产生实质危害。比如,通过“AI换脸”捏造虚假讲话视频等引导公众舆论。对此,清华大学人工智能研究院基础理论研究中心主任朱军认为,技术是中性的,应加强对应用场景、使用者的监管,防止技术滥用等衍生风险发生,保障其应用可控。


大赛现场演示的人脸识别破解则展示了人工智能系统层面风险,它来自深度学习模型本身存在脆弱和易受攻击的缺陷,通过输入数据添加扰动,使系统作出错误判断,导致其可靠性难以得到信任。这一漏洞在自动驾驶感知系统同样存在:正常情况下,自动驾驶系统识别到路障、指示牌、行人等目标后,会立即制动车辆,但对目标物体添加干扰图案后,车辆感知系统就会出错,引发碰撞危险。“与传统信息系统不同,人工智能系统存在高度不确定性,技术漏洞更为复杂。”朱军建议,在算法模型外部署安全防护组件,利用算法安全检测与防御加固等措施,抵御模型窃取、对抗样本等新型攻击,提高攻击门槛与防御成本,让攻击者无利可图,从而在源头上实现安全。


北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙则认为,构建科学评测手段是提高人工智能系统防御能力的另一项有效解决方案。人工智能算法不仅种类众多,还包含数据集、模型等众多要素,涉及训练、测试、验证等多个环节,这使得人工智能算法安全性评测成为一项复杂命题。因此,应配备从测试、分析到加固的完整技术手段,形成标准化测试流程。人工智能安全评估不仅局限于算法,未来还应拓展至数据、应用等多个层面,形成全面测评,保障人工智能全周期安全。


从长远看,人工智能安全问题需要从算法模型原理上寻找突破口。张钹提出构建第三代人工智能,即在第二代人工智能具有的数据、算法、算力3个要素基础上,再融合知识要素,建立新的可解释、稳健的人工智能方法。


筑牢人工智能安全屏障需要不断在攻防演练中升级对抗能力。大赛聚焦人脸识别、自动驾驶等场景中的典型漏洞及风险,通过考核漏洞发现、挖掘等能力,寻找新型安全需求场景,推动人工智能安全攻防技术创新,为强化人工智能治理体系与安全评估能力建设提供支撑。


作为人工智能产业发展重要基石,算力基础设施的加快建设将满足人工智能爆发式增长的算力需求。国家工业信息安全发展研究中心日前发布的《人工智能算力基础设施安全发展白皮书》指出,安全的算力基础设施应保护数据模型不被窃取,有效防范恶意攻击,提供可信任的运行环境,保障人工智能系统安全稳定。


但人工智能算力基础设施发展仍处于初期阶段,专门的安全标准、技术体系、评估规范、监测和检查手段仍在建设中。为进一步推动人工智能算力基础设施安全发展,国家工业信息安全发展研究中心副主任何小龙认为,算力基础设施与人工智能的安全问题相互交织,应构筑具有针对性的一体化、全链路标准体系,实现协同联防。同时,鼓励算力基础设施企业和算法企业加强合作,推动安全技术工具集成到人工智能算力基础设施中,降低企业应用人工智能成本,形成安全发展良好氛围。


王志波:人工智能安全风险与可信探索


王志波:浙江大学计算机学院/网络空间安全学院教授、国家优秀青年科学基金获得者、浙江大学信息技术中心副主任


演讲实录节选:


一、人工智能:应用场景越来越多,前景更加广阔


基于深度学习的人工智能技术已广泛应用于人脸识别、自动驾驶、在线教育等各个领域,展现了其卓越的性能,人工智能的应用正带来一场新的技术革命。人工智能是引领未来的战略性技术,是国际竞争的新焦点,是提升国家竞争力、维护国家安全的重大战略。


,

在线博彩平台www.99cx.vip)是一个开放皇冠体育网址代理APP下载、皇冠体育网址会员APP下载、皇冠体育网址线路APP下载、皇冠体育网址登录APP下载的官方平台。在线博彩平台上最新在线博彩平台登录线路、在线博彩平台代理网址更新最快。在线博彩平台开放皇冠官方会员注册、皇冠官方代理开户等业务。

,

中国人工智能产业发展势头良好,发展空间巨大,我们亟需抢抓人工智能发展机遇,为制造强国、网络强国、数字中国建设提供有力支撑。从2017年开始,国务院印发《新一代人工智能发展规划》,提出了面向2030年我国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施,部署构筑我国人工智能发展的先发优势,加快建设创新型国家和世界科技强国。党的十九大报告中指出,“推动互联网、大数据、人工智能和实体经济深度融合,在中高端消费、创新引领、绿色低碳、共享经济、现代供应链、人力资本服务等领域培育新增长点、形成新动能”。近期的《2021年政府工作报告》指出,“基础科技发展的重点领域将涵盖新一代人工智能等战略性新兴产业”。紧接着,中国国家新一代人工智能治理专业委员会发布《新一代人工智能伦理规范》,旨在将伦理道德融入人工智能全生命周期,为从事人工智能相关活动的自然人、法人和其他相关机构等提供伦理指引。可以说,未来,人工智能将为经济社会发展打开更大的可能性空间。人工智能的未来可期,前景广阔。


二、人工智能安全问题


人工智能在各行各业、不同场景应用的案例越来越多,已实实在在嵌入到了各种场景之下的生产作业流程中。然而,随之而来的数据隐私、安全风险等问题也引起了关注。例如,一种被称为对抗攻击的典型攻击方式,利用深度神经网络内在脆弱性,通过添加精心构造的噪声到原始数据(比如图像、音频)来误导模型决策错误。基于这种攻击,莫斯科国立大学与华为莫斯科研究中心联合提出AdvHat,将打印的对抗性图案粘贴在帽子上,成功地让先进的Face ID系统识别出错;通过在交通标志上添加噪声误导自动驾驶系统决策错误。此外,另一种典型攻击方法深度伪造(Deepfake)也是业界关注的重点,这一攻击使用人工智能技术生成能够以假乱真的虚假视频,甚至可以使用视频换脸生成某个特定人的视频。深度伪造视频真假难辨,甚至可以欺骗人类与当前人脸识别系统,有可能对社会稳定甚至国家安全造成威胁。迄今为止,诸如奥巴马假视频、扎克伯格假视频、虚假汤姆克鲁斯明星模仿等等深度伪造的大事件层出不穷,已经造成了恶劣的社会影响。

歧视与偏见也广泛地存在于现实系统中。一方面由于数据和算法的局限,在训练数据不足的时候,人工智能系统就容易出现偏差,从而产生类似的歧视行为。比如,Northpointe公司开发的系统Compas在美国被广泛使用,黑人被告相比于白人被告被预测为高暴力犯罪风险的可能性高77%,被预测为将来可能实施任意一种犯罪的可能性高45%,还有像亚马逊AI招聘系统存在性别偏见等例子。


针对AI的安全分析,可以从AI的全生命周期来看,包括设计阶段、训练阶段和执行/推理阶段。在每个阶段都存在着一定的安全风险。


在设计阶段,根据需求收集数据、选择合适的模型结构。理想情况下的模型,是客观中立,在满足个体对个性化的需求的同时不应歧视某一群体。然而,偏见总是普遍存在的,例如:数据收集过程中的偏见、数据标注的偏见、结果解释的偏见、设计算法时采取准则的偏见等,从而威胁了AI的公平性,产生如数据的偏见、模型的偏见等安全威胁。


在训练阶段,按照设计时决定的模型结构,结合训练数据来训练模型,存在如投毒攻击、后门攻击等安全威胁。具体说来,数据投毒是攻击者将少量精心设计的中毒样本添加到模型的训练数据集中,利用训练或者微调过程使得模型中毒,从而破坏模型的可用性或完整性,最终使模型在测试阶段表现异常。后门攻击是在训练数据中加入少量的带触发器的毒化数据,破坏模型的训练完整性;面对正常输入数据时,模型预测结果无异常,一旦输入数据包含触发器,模型预测结果就被恶意篡改。


在执行阶段,使用训练好的的模型进行预测,完成既定任务,存在如对抗攻击、成员推断攻击等安全威胁。具体说来,对抗攻击指的是,攻击者对输入加入精心设计的扰动,使模型得出错误的结果。通常攻击者希望加入的扰动难以被辨识,这样意味着攻击的隐蔽性强。根据攻击意图,对抗攻击可以分为有目标攻击和无目标攻击;根据攻击者所能获取的信息,对抗攻击可以分为白盒攻击、灰盒攻击和黑盒攻击。成员推断攻击指的是,攻击者根据模型执行的结果,推断输入样本是否属于模型的训练数据,破坏模型保密性;若模型本身的训练数据较为敏感,则会泄露用户的敏感信息,如患病情况等。


三、可信AI


人工智能面临着“信任危机”,人民需要更加“可信”的人工智能。因此,"安全可信"成为AI发展的重要趋势。AI的安全要素包括:1)保密性,即涉及的数据与模型信息不会泄露给没有授权的人;2)完整性,即算法模型、数据、基础设施和产品不被恶意植入、篡改替换伪造;3)鲁棒性,即能同时能够抵御复杂的环境条件和非正常的恶意干扰;4)隐私性,即Al模型在使用过程中能够保护数据主体的数据隐私;5)公平性,即对不同的使用者,算法不会差别对待。


可信AI是抵御风险的关键能力,可信AI研究可以从以下四方面解决AI的信任危机:稳定性/鲁棒性,AI系统抵抗各类环境噪声、攻击的能力;可解释性,AI系统的预测、决策是否透明、可被人理解;隐私保护,AI系统是否可以保护用户隐私不被泄露;公平性,AI系统是否公平对待不同群体,以上四点也是可信AI的四大基本原则。通过研究AI模型的可解释性、鲁棒性、公平性和隐私性,从而构建安全可信AI系统。


四、可信AI的相关研究成果


在模型公平性提升方面,我们提出了基于对抗性扰动的公平性提升技术,通过阻止模型提取敏感属性相关信息且保留目标任务相关信息,在不改变已部署模型情况下提升系统公平性;对于高隐蔽对抗样本方面,我们提出了基于噪声空间约束的高隐蔽对抗样本生成技术,根据区域复杂性自适应的添加噪声而非全局加噪,在实现高攻击成功率前提下达到噪声高隐蔽;抗压缩对抗样本方面,我们提出了基于压缩近似模型的抗压缩对抗样本生成技术,在对抗样本优化时引入压缩近似模型,首次实现社交平台未知压缩方式下的抗压缩对抗图像生成;物理鲁棒对抗攻击方面,我们设计了跨摄像头可变、位置可扩展、物理高鲁棒的对抗性图案,首次实现面向行人重识别系统的目标逃逸攻击与伪装攻击,揭示了其系统脆弱性;高迁移性对抗攻击方面,我们提出基于特征重要性的高迁移性对抗样本生成技术,引导对抗样本朝着破坏目标相关的重要特征进行优化,有效提升了现实场景下的黑盒攻击成功率。


五、AI安全理论及验证平台:新一代人工智能重大项目


我们的工作得到了科技创新2030—“新一代人工智能”重大项目《人工智能安全理论及验证平台》的支持,该项目是人工智能安全领域的第一个重大项目,由浙江大学任奎教授牵头。该项目旨在发展新的AI安全理论及关键技术,提高AI系统威胁监测、预警、响应能力,实现大规模人工智能系统的安全性验证,推动系统安全评测标准的制定与完善,完全响应“建立多领域技术融合、支持大规模人工智能系统自主安全防御的理论体系”的总体研究目标。通过本项目的实施,有望发展出一套新的AI安全理论及关键技术,提高AI系统威胁监测、预警、响应能力,推动系统安全评测有关标准制定与完善,降低AI技术不成熟性与滥用带来的安全风险。



来源:经济日报记者 李芃达 深圳数据经济研究院

注:文章内的所有配图皆为网络转载图片,侵权即删!

,

Telegram获取用户IDwww.tel8.vip)是一个Telegram群组分享平台。Telegram获取用户ID导出包括Telegram获取用户ID、Telegram群组索引、Telegram群组导航、新加坡Telegram群组、Telegram中文群组、Telegram群组(其他)、Telegram 美国 群组、Telegram群组爬虫、电报群 科学上网、小飞机 怎么 加 群、tg群等内容。Telegram获取用户ID为广大电报用户提供各种电报群组/电报频道/电报机器人导航服务。

上一篇:足球博彩平台(www.hg108.vip):“郁金香革命”,用隐蔽手段传播西方价值观

下一篇:chơi tài xỉu bóng đá(www.84vng.com):执屎敢死队 陈家亮

网友评论