为了控制、引导超级智能对齐问题,OpenAI周三(5日)表示,组建了一支人工智能对齐团队Superalignment。同时该团队也是对OpenAI现有工作的补充,可提升ChatGPT等产品的安全性,在4年内解决超级智能对齐问题。
超级智能将是人类发明的最具影响力的技术之一,可以帮助我们解决世界上许多难题。但超级智能的巨大力量也可能非常危险,并导致人类失去控制权,甚至灭绝人类。虽然超级智能还很遥远,但OpenAI认为,10年之内就很有可能实现。
【资料图】
目前,OpenAI还没有一个明确的解决方案来引导或控制超级人工智能。当下可控制的人工智能技术,例如,根据人类反馈进行强化学习,依赖于人类监督的AI能力等。但人类无法可靠地监督,比我们聪明多的AI系统,因此,我们目前的对齐技术无法扩展到超级智能,需要新的科学技术突破。
20%算力用来解决AI失控问题
为了控制、引导超级智能对齐问题,OpenAI组建了一支由Ilya Sutskever(OpenAI联合创始人兼首席科学家)和Jan Leike领导的人工智能对齐团队——Superalignment。
同时该团队也是对OpenAI现有工作的补充,可提升ChatGPT等产品的安全性,包括非法滥用、经济破坏、虚假信息、偏见和歧视、数据隐私和其他可能出现的问题。
他们预测,超智能AI(即比人类更聪明的系统)可能在这个十年(2030年前)就会到来,人类将需要比目前更好的技术来控制超智能AI,因此需要在所谓的“一致性研究”方面取得突破,该研究的重点是确保人工智能对人类有益。
根据他们的说法,在微软(Microsoft)的支持下,OpenAI将拿出未来四年所获算力的20%用于解决AI失控的问题。此外,该公司正在组建一个新的团队来组织这项工作,称为超级一致性团队。
据悉,该团队的目标是创建一个“人类级别”的AI研究人员,然后通过大量的计算能力进行扩展。OpenAI表示,这意味着他们将使用人类反馈来训练AI系统,训练AI系统来辅助人类评估,然后最终训练AI系统进行实际的一致性研究。
OpenAI的方法
建立一个大致达到人类水平的自动对齐系统。然后,可以使用大量算力来扩展工作,并调整超级智能。
1、开发可扩展的训练方法:为了针对人类难以评估的任务提供训练方法,可以通过人工智能系统来协助评估,其他人工智能系统(可扩展的监督)。此外,OpenAI希望了解和控制其模型,将监督应用到无法监督的任务(泛化)上。
2、验证生成的模型:为了验证系统的一致性,OpenAI将自动搜索有问题的行为(稳定性)和有问题的内部结构(自动可解释性)。
3、对整个对齐管道进行压力测试:可以通过故意训练未对准的模型,来测试整个安全流程,并确认技术检测到最差的未对准类型(对抗性测试)。
OpenAI预计,随着对超级智能对齐了解越来越多,研究重点将会发生重大变化,可能会增加全新的研究领域。
未来,会分享更多有关技术研究路线图的信息。
- 7年内超级AI将问世!OpenAI宣布:20%算力投入 4年内控制超级智能
- 天天资讯:7月10日起,淳安入园体检开始啦~
- 吴曦周俊辰伤愈已跟队合练 崔麟预计7月中旬复出-天天聚看点
- 众和:6月美元利率仍处于高位运行,一季度以来备证结构离岸人民币债票面利率中枢下降
- 朔州市上半年财政收入实现“双过半”
- 世界滚动:云梦创新高标准农田建设投资模式 让乡村振兴“地”气十足
- 兴业银行乌鲁木齐分行落地新疆首笔低碳转型挂钩贷款|每日热闻
- 魔法弩射击防御官网在哪下载 最新官方下载安装地址
- 焦点热文:马斯克:L4-L5级的全自动驾驶今年晚些时候就能实现
- 港股突发!恒指意外急挫超500点,有何利空来袭?美国表态:坚决反对!俄罗斯的回应意味深长
- 午评:沪指震荡跌0.53%,医药、酿酒等板块走低,CPO概念等活跃
- 中国演出行业协会:上半年全国营业性演出票房收入167.93亿元,与去年同比增长673.49%
- 【全球播资讯】昌红科技投资新设模塑科技公司 含集成电路芯片及产品制造业务
- 全球简讯:脸上长斑怎么办
- 朝霞映红了宜昌湿地公园
- 泰坦号爆炸前录音曝光:5人绝望呼救,救援设施失灵空余爆炸巨响
- 世界微速讯:7月6日 9:48分 金域医学(603882)股价快速拉升
- 时讯:加拿大外交部等妄议特区警方依法拘捕反中乱港分子 驻港公署回应
- 2023年两岸青少年乒乓球夏令营在沪开营
- 留置权人能否随意的处置留置物,留置权人的权利有哪些|全球看热讯
- 【环湖赛·海北】环湖赛引爆海北旅游_全球聚焦
- 【山西】《温暖》|| 六年级 孟世超|焦点热闻
- 中华文明探源丨寻踪禹迹,在中国南北地理分界线上
- 今头条!红魔8S Pro/Pro+将于7月11日开售 搭载骁龙8Gen2领先版
- 世界热资讯!众泰汽车录得4天3板
- 成都办港澳通行证要几天办的好啊?
- 白皮书:AIGC异军突起,成为最热门的投融资领域
- 焦点资讯:人工智能概念活跃,拓维信息、德明利涨停,寒武纪等走高
- 8股获基金调研 怡和嘉业最受关注
- 今日热文:恒生科技指数跌超2%,恒指跌超3%