人工智能算法教机器人学走路从零开始耗时两小时铜止回阀
发布时间:2022-09-18 14:45:46 来源:正江五金网
人工智能算法教机器人学走路:从零开始,耗时两小时
2018年12月,来自加利福尼亚大学伯克利分校和谷歌大脑的科学家们开发出了一套人工智能系统,它可以让机器人自己学会走路。这一成果发表于预印本网站arxiv.org上,论文题为《通过深度强化学习来学习走路》(learning to walk via deep reinforcement learning)。
在研究人员公布的视频资料中,四足机器人minitaur试图走过一个平整的缓坡。在视频开头,时间显示为0,这是四足机器人学习走路的开始。此时的四足机器人minitaur如一个蹒跚学步的婴儿,时而摇晃、时而原地踏步,它尝试着迈开腿前进,但身体却诚实地留在原地,整个行走过程进展缓慢。转变发生在minitaur学习走路的第18分钟,这时它已经可以持续性地前进了,但平衡性稍显不足。后续的练习中,minitaur的步伐逐渐变得稳定且迅速。54分钟、72分钟、108分钟,不到2小时的时间,minitaur基本学会了快速且平稳地走过缓坡。
这就是四足机器人minitaur学习走路的全过程。加利福尼亚大学伯克利分校和谷歌大脑的科学家们研发出的人工智能算法教会了这个四足机器人穿越熟悉或陌生的地形。
在整个训练过程中,研究人员需要手动把走到缓坡尽头的机器人请回缓坡的起点以重新开始新一轮的练习,这一手动复位的过程稍显繁琐。不过,从结果来看,这一耗时2小时的学步过程实属高效,不少网友就此评价称ai真是个好老师。
在人工智能领域中经常提到强化学习的概念,这是一种使用奖励或惩罚的驱动来实现特定目标的人工智能方法,目的是获得一个策略以指导行动。比如围棋博弈中,这个策略可以根据盘面形势指导每一步应该在哪里落子。而在四足机器人minitaur学习走路的过程中,这个策略可以根据地形等要素告诉机器人下一步应该怎么走。
强化学习会从一个初始的策略开始。通常,初始策略不一定很理想,正如四足机器人minitaur在刚开始学走路的时候所表现的那样。不过。在学习的过程中,作为决策主体的四足机器人minitaur会通过行动和环境进行交互,不断获得反馈,即回报或者惩罚,并根据反馈调整优化策略。
强化学习是一种非常强大的学习方式。持续不断的强化学习甚至能够获得比人类更优的决策机制。最好的例子就是阿尔法狗。2016年,谷歌通过深度学习训练的阿尔法狗( alphago)程序以4比1的比分战胜了曾经的围棋世界冠军李世石。它的改进版更在2017年战胜了当时世界排名第一的中国棋手柯洁,其令世人震惊的博弈能力就是通过强化学习训练出来的。
但强化学习也有其局限性。它需要大量数据,在某些情况下需要数万个样本才能获得良好的结果。这就需要四足机器人minitaur像阿尔法狗那样进行多次训练,但过多的训练可能会对四足机器人造成损坏。
因此,这项学习走路的研究选择了强化学习的升级版——深度强化学习的方法,将深度学习的感知能力和强化学习的决策能力相结合。这种方法可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。
用研究人员的话说,为了使一个系统在没有模拟训练的情况下学习运动技能成为可能,他们采用了一种名为最大熵rl强化学习框架。最大熵rl可以优化学习策略,以最大化预期收益。在这个框架中,人工智能代理通过从策略中抽取某些行动并接收奖励的方式不断地寻找最佳的行动路径。
研究人员表示,据我们所知,本实验是在现实世界中不经过模仿和预训练而直接学习欠驱动四足运动的第一个深度强化学习算法案例。
2018年5月,同个课题组的研究人员曾在arxiv.org上发表了另一篇关于四足机器人minitaur的研究论文。当时,研究人员使用深度强化学习的方法使minitaur从零开始学习四足运动,并最终实现了小跑和疾驰。
(本文源自网络,如有侵权,请联系删除!)
-
最火好消息海德公司承接了一批阀组件的研磨加工端子机剪板机屏蔽器喂料机组合天线Rra
好消息:海德公司承接了一批阀组件的研磨加工您当前位置:首页 企业好消息:海德公司承接了一批阀组件的研磨加工好消息:海德公司承接了一批推拉钢窗JG/T 3014⑼4阀组件的研磨加工来源:中国五
03月22日 04:17
-
最火11日1510嘉兴市场建筑钢材价格行情电源插头基站放大器耦合器铜螺丝轴套Rra
11日(15:10)嘉兴市场建筑钢材价格行情您当前位置:首页 价格行情11日(15:10)嘉兴市场建筑钢材价格行情11日(15:10)嘉兴市场建筑钢材价格行碳膜电阻器情来源:中国五金商机日期:品名 规格(
03月22日 00:35
-
最火中铝总经理熊维平巨亏是市场原因造成的垫板集成块配料机拖链转换插座Rra
中铝总经理熊维平:巨亏是市场原因造成的【铝道】中铝熊维平今天在达沃斯会场回答提问时表示,今年的业绩巨亏主要是市场原因造成的。根据较新的发布的上半年业绩,中国铝业上半年巨亏达到
03月21日 16:18
-
最火22日1628合肥市场热轧板卷价格行情电脑螺丝混合设备南昌铁铆钉制绳机Rra
22日(16:28)合肥市场热轧板卷价格行情您当前位置:首页 价格行情22日(16:28)合肥市场热轧板卷价格行情22日(16:28)合肥市场热轧板卷价格行情来源:中国五金商机日期:品名 规格(mm) 材质
03月21日 15:45
-
最火3月4日安阳锅炉容器板最新价格行情新不锈钢阀干燥机开口档圈柔性电路旋塞阀Rra
3月4日安阳锅炉容器板最新价格行情(新)您当前位置:首页 价格行情3月4日安阳锅炉容负荷丈量范围:满量程的2%~100%FS,位移示值极限误差:示值的±水洗机1%之内器板最新价格行情(新)3恣意电源私自的
03月21日 05:16
-
最火沪铝下方空间有限动力卡盘检测仪器平衡机微型轴承阻燃材料Rra
沪铝 下方空间有限【铝道】一方调频电台面,鉴于国内政策托底明显,投资者不宜过分悲观。另一方面,成本端支撑较为明显,但由于下游消费疲弱,预计沪铝将维持在13700 14500元/吨区间振荡运行。
03月15日 05:47