最资讯丨人体姿态估计:卷积姿态学习机CPM
导读:人体姿态估计中常用的模式,就是用堆叠的漏斗模型去实现精密的关键点预测,并将上一阶段的预测结果用于当前阶段的先验知识,并以强制中间层监督的方式来解决梯度消失的问题。这一系列经典的操作,根源与这篇文章,即卷积姿态学习机,CPM。
【资料图】
目录
摘要介绍方法总结
摘要
Pose机为学习丰富的隐式空间模型提供了一个序列预测模型。这篇文章展示了一个姿态估计的系统设计,如何将卷积网络整合到pose机中以学习图像特征和图像相关的空间模型。文章的贡献在于,在结构化的预测任务中如关节姿态估计,隐式建模变量之间的长距离依赖关系。我们通过设计一个由卷积网络组成的顺序架构来实现,该网络直接在上一阶段的信念图上运行,对身体部位的位置产生了不断精细地估计,而不需要显式的图形模型式的推导。我们的方法通过提供一个强制中间监督的自然学习目标函数来解决训练过程中的梯度消失的典型问题,因此补充反向传播的梯度和调节学习过程。我们在标准的数据集如MPII,LSP和FLIC数据集上验证了领先的性能。
介绍
我们介绍了卷积姿态机用于关节点姿态识别。CPM继承了pose机架构的优点,即图像和多局部线索之间长距离依赖的隐式建模,学习与推荐的紧密集成,模块化的循序设计,以及将他们与卷积网络提供的优点结合起来:从数据中学习用于图像和空间上下文的特征表征的能力;一个可微的架构,允许反向传播用于全局联合训练;以及有效处理大数据集的能力。
CPM包含了一个序列的卷积网络,它重复产生每一个局部位置的2D信念图。在CPM的每一个阶段,由上一阶段产生的图像特征与信念图,作为当前阶段的输入。信念图为后续阶段的每个部位的空间不确定性提供了一个表达性的非参数编码,允许CPM去学习丰富的图像相关的部位之间关系的空间建模。取代使用图形建模或者专门的后续处理显式地解析信念图,我们学习卷积网络能够之间在中间层的信念图上操作,并学习隐式的部位之间关系的空间模型。整体提出的多阶段架构是完全可微的,因此能够使用反向传播以端到端的方式来训练。 A Convolutional Pose Machine consists of a sequence of predictors trained to make dense predictions at each image location. Here we show the increasingly refined estimates for the location of the right elbow in each stage of the sequence. (a) Predicting from local evidence often causes confusion. (b) Multi-part context helps resolve ambiguity. © Additional iterations help converge to a certain solution.一个CPM包含有序列组成的预测器,被训练成用于每个图像位置的密集预测。这里展示序列中每个阶段右手腕位置不断精细的预测。(a)从局部特征预测经常引起混淆;(b)多部位上下文有助于解决歧义;(c)额外的训练有助于收敛到一个确定的位置。
在CPM的某一特定阶段,部位信念的空间上下文为后续阶段提供了强有力的线索。因此,CPM的每一个阶段产生了针对每个部位位置的不断精细化估计的信念图,上图所示。为了获取部位之间长距离的交互,我们的序列预测网络的每一个阶段,网络的设计都出于在图像和信念图上实现更大感受野的目标。我们发现,通过实验,信念图上的更大感受野对于长距离的空间建模至关重要,并且有助于提升精度。
CPM的多卷积网络组成导致了一个具有多层网络的整体结构,在训练过程中会存在梯度弥散的风险。这个问题出现主要由于反向的梯度在多层网络中传播会降低强度。虽然最近的工作展示了中间层监督深度网络有助于学习,他们大多数局限于分类问题。在这篇文章中,展示了对于结构化的预测问题如姿态估计,CPM如何自然地提出一个系统框架,它通过网络定期地执行中间层监督来补充梯度和引导网络生成越来越精确的信念图。我们同样讨论了诸如此类序列预测问题的不同训练方法。
论文的主要贡献在于:通过一个序列的卷积架构来学习隐式的空间模型;一个系统的方法去设计和训练如此的架构去学习图像特征和图像相关的空间模型用于结构化的预测任务,同时不需要任何的图形模型类的推测。我们在标准的数据集合如MPII,LSP和FLIC等取得了领先的结果。
方法
Architecture and receptive fields of CPMs. We show a convolutional architecture and receptive fields across layers for a CPM with any T stages. The pose machine [29] is shown in insets (a) and (b), and the corresponding convolutional networks are shown in insets © and (d). Insets (a) and © show the architecture that operates only on image evidence in the first stage. Insets (b) and (d) shows the architecture for subsequent stages, which operate both on image evidence as well as belief maps from preceding stages. The architectures in (b) and (d) are repeated for all subsequent stages (2 to T ). The network is locally supervised after each stage using an intermediate loss layer that prevents vanishing gradients during training. Below in inset (e) we show the effective receptive field on an image (centered at left knee) of the architecture, where the large receptive field enables the model to capture long-range spatial dependencies such as those between head and knees. (Best viewed in color.)CPM的架构和视觉感受野。我们显示了一个卷积架构和在任一阶段中CPM的视觉感受野。pose机如插图(a)和(b)所示,响应的卷积网络显示在插图© 和(d)中。插图(a)和(c)显示第一阶段仅在图像证据上的卷积操作。插图(b)和(d)显示了后续阶段的架构,它在图像和上一阶段的信念图上操作。网络在每个阶段之后都使用中间损失层进行本地监督,以防止训练期间的梯度消失。插图(e)展示了架构中一幅图像(以左膝盖为中心)的有效视觉感受野,其中大视觉感受野使得模型能够在长距离的空间依赖性上建模,例如头与膝盖等。
总结
提示:
卷积姿态机器提供了端到端的架构用于解决在计算机视觉中结构化的预测问题,而不需要图形模型分割的推理。文章展示了一个序列架构由卷积网络组成,能够隐式地学习用于姿态的空间模型,通过在阶段中传达不断精确的信念图。计算机视觉的多个领域中,如语义标签,单图像深度估计和目标检测等,出现变量之间空间依赖性,将涉及把我们的工作扩展到这些问题中。但该模型对于密集的人群会出现失败的例子,以端到端的模型来处理多人场景是一个有挑战的问题,也是未来工作的有趣途径。
标签:
相关推荐:
精彩放送:
- []环球快消息!新疆喀什全力打造旅游品牌
- []饕餮新品限时正价购免外送费,任意消费即有机会赢金钞人人有礼!
- []天天热门:新入网宽带如何连接网络?连接方法是什么?
- []水的比热容是多少?它的物理含义是什么?
- []环球播报:皇太极同人女主穿越小说有哪些?分享几部皇太极穿越小说
- []女生高考落榜了怎么办?女生高考落榜了可以选择学习哪些技术?
- []全球快资讯丨傲娇是什么意思?傲娇一词怎么来的?
- []焦点短讯!正月初五接财神吉祥语有哪些?正月初五接财神是什么说法?
- []世界热消息:15GWh!海辰储能与宁波双一力签订三年电芯供应战略合作协议
- []观热点:男主是国师的谪仙宠文有哪些?作者是谁?
- []全球新动态:海贼王实力最强的前十名有谁?
- []世界观速讯丨迈克杰克逊身高多少?迈克杰克逊资料介绍?
- []全球通讯!西安附近有什么好玩的地方?骊山是在哪里?
- []动态焦点:佳能打印一体机怎么加墨?加墨方法有哪些?
- []每日消息!青海省抽水蓄能管理办法(暂行)正式印发!
- []跌超30%后反弹15% 光伏板块否极泰来了?
- []十八数藏创始人柏松:“986寿苏会”赓续千年文脉 《苏东坡海南功业》数字藏品重磅发布
- []当前视点!动力电池回收商格林美子公司车间失火,官方称“将历史性升级”
- []全球视点!比亚迪动力及储能电池销量翻倍增长!2022年已在13地布局新产能!
- []环球热点评!旅游过年,带火这个千亿赛道
- []当前焦点!中东抽水蓄能电站实现下水库和尾水系统蓄水目标
- []首都机场再现排队人流
- []世界今日讯!任泽平“炮轰”宁德时代 称其打压竞争对手胁迫车企
- []看热讯:蔚蓝锂芯再签战略合作 牵手申能股份全资子公司发展新能源业务
- []中国旅客重启国际旅程,多国准备接待中国旅客
- []新“毒王”XBB强势来袭,别慌,高科技超亲石墨烯口罩显身手
- []美国头号流行毒株侵入国内,为啥要囤这款“抗疫利器”?
- []简讯:车建新的退意
- []【世界新视野】宁波海运:英特集团不属于公司大股东旗下企业
- []焦点资讯:LPR利率三连降 全国首套房贷利率今年或“奔三”
- []天天看点:锦江在线:感谢关注公司。公司股东人数请关注公司披露的定期报告相关内容
- []加杠杆做多阿里巴巴,海外巨头出手了
- []【世界播资讯】朗玛信息:截止2022年12月30日公司股东人数为33819
- []能源局:新型储能发展三步走,满足多时间尺度需求,统筹推进源网荷多场景应用
- []全球速讯:首批入境“不隔离”航班抵达,机组、旅客告别漫长等待
- []环球快消息!震裕科技拟3亿元投建锂电池铝壳生产项目
- []天天关注:乐观情绪提升 多只权益类基金“开门迎客”
- []世界简讯:中金光伏设备展望:2023年超额收益仍来自新技术 电镀铜元年
- []环球视讯!什么信号?新年首只“日光基”来了 20亿资金或锁定这些港股
- []盛新锂能:因雅江县斯诺威矿业发展有限公司重整计划草案可能对拍卖标的有重大影响,目前拍卖已中止
- []中控技术:supOS是浙江蓝卓工业互联网信息技术有限公司推出的工业操作系统,不属于公司产品
- []热议:创源股份:公司子公司睿特菲目前专注主营产品,并持续不断研发
- []天天快播:三亚之后,“阳康”涌入大理和丽江
- []外汇交易提醒:预计美联储放缓加息步伐,美元两连阴初步破位,下一目标101.30?
- []纳晖新能源与菏泽市政府联手启动鲁西新区全域全场景光伏电站项目,助力绿色发展
- []速讯:哔哩哔哩拟发行1534.4万股美国存托股 所得款项净额3.97亿美元
- []热讯:农村医保包括大病险吗?
- []今日关注:2019保险公司前十强,中国有哪些公司呢?
- []今日最新!车子第二年可以换保险公司吗?
- []环球看点!每年都要交车船税和交强险吗?
- []世界热头条丨买车险哪个保险公司好?
- []天天新资讯:资源控股以债务抵偿方式收购三家子公司剩余股权 交易代价23.08亿
- []环球热讯:上坤地产2022年累计合约销售金额82.9亿元 均价12808元/平方米
- []祥生控股与关联方重续建筑、园林、销售、物管框架协议
- []世界观天下!青岛银行:我行以青岛为大本营,持续深耕山东省内市场,致力于为全省客户提供优质的银行服务
- []当前关注:供销大集过去连续12个月累计诉讼、仲裁金额10.03亿
- []世界快播:顺丰控股:1月6日公司高管刘冀鲁减持公司股份合计85万股
- []世界观焦点:信测标准:1月6日公司高管李生平减持公司股份合计1.1万股
- []天天观察:中能电气:1月6日公司高管吴昊减持公司股份合计1500股
- []【独家】蓝海华腾:1月6日公司高管时仁帅减持公司股份合计8万股
- []滚动:2023春运大幕开启,首日630万人坐火车回家
- []环球信息:保利置业2022年合同销售额502亿 完成发行第三期15亿中票
- []通达电气:1月5日至1月6日公司高管傅华波减持公司股份合计22.2万股
- []世界通讯!金盘科技:1月9日刘玲减持公司股份合计1300股
- []可惜错过
- []世界速递!奈雪的茶股价午后快速上扬4.99% 收盘价报7.15港元
- []天天实时:恒基地产于港交所完成首宗碳信用交易 为首批参与企业之一
- []世界观天下!大悦城控股为东北子公司1.129亿借款提供连带责任保证担保
- []【环球播资讯】四重因素推动我国预制菜产业发展 投资热或将延续
- []环球微动态丨新风光:1月6日公司高管程绪东减持公司股份合计6万股
- []【新视野】海外华人的万里归途:疫情三年,那些入境的曲折终成历史
- []德信中国2022年累计销售额361亿元 12月单月录得25亿元
- []中国建筑3亿股第四期A股限制性股票将解锁并上市流通
- []今日热议:青建国际获得香港荃湾海滨公园改善工程合约 涉资2.76亿港元
- []斗鱼(DOYU.US)获得2023年英雄联盟LPL赛事直播权
- []世界微资讯!圆通速递2022年营业总收入535.46亿 归母净利39.2亿
- []今日报丨天威视讯:深圳广播电影电视集团的举办单位是深圳市委宣传部
- []观察:莱茵体育持股5%以上股东高靖娜所持1148万股已办理解除质押
- []世界资讯:智立方:截至最近股权登记日2022年1月4日,公司股东户数为7,998户
- []腰果凌角的制作方法?
- []环球快讯:【港股通】中国通号(03969)下挫4.93% 前三季度净利同比减少9.16%
- []当前速读:中指研究院:12月融资出现翘尾,2023年融资宽松态势有望延续
- []高科技加持 多明星背书 超亲石墨烯口罩为何引爆市场?
- []当前速读:内蒙华电:公司按照发展规划正全力争取新能源项目,相关进展情况请关注公司公告
- []天天即时看!建发股份:拟现金收购美凯龙不超过30%股份
- []天天日报丨天润工业:公司乘用车空气悬架相关产品目前处于开发过程中,谢您对公司的关注!
- []今亮点!2023财政预算年度住房公积金月缴存基数上限31884元
- []环球微资讯!绿城中国(03900.HK)前8个月总合同销售金额约1698亿元
- []【天天热闻】雅化集团:公司目前暂未受到影响,未来将结合国内外环境、行业发展情况综合考虑投资形式及规模等
- []梁建章:如何看待中国经济与旅游行业的2023
- []【环球快播报】八大券商主题策略:“金大伯”、“锂大爷”、“铜博士”!火热的有色股重出江湖?
- []聚胶股份:公司波兰工厂已向客户陆续供货,请您关注公司后续在巨潮资讯网等官方指定媒体披露的相关公告
- []环球最新:辰安科技:感谢您的敦促与建议,以及对公司业务社会意义的认可
- []全球短讯!神州高铁:截至2022年12月30日,公司股东人数为93617,其他信息请关注公司定期报告
- []家居丨好莱客:业绩承诺方已完成支付湖北千川51%股权回购款
- []焦点日报:家居丨梦洁股份为梦洁新材料提供950万元保证担保
- []上海发布绿色金融行动方案 2025年预计绿色融资余额突破1.5万亿元
- []世界今头条!润阳科技:公司产能建设正在有序推进中,新增产能将按计划逐步释放
- []财面儿丨合景泰富集团12月预售额为人民币37.81亿元
- []合景泰富前12月累计预售508.61亿 单月预售同比降62.7%
- B站注册资本增幅400%至5亿 目前由陈睿全资持股
- 光源资本出任独家财务顾问 沐曦集成电路10亿元A轮融资宣告完成
- 巨轮智能2021年上半年营收11.24亿元 期内研发费用投入增长19.05%
- 红枣期货尾盘拉升大涨近6% 目前红枣市场总库存约30万吨
- 嘉银金科发布2021年Q2财报 期内净利润达1.27亿元同比增长208%
- 成都银行2021上半年净利33.89亿元 期内实现营收同比增长17.27亿元
- 汽车之家发布2021年第二季度业绩 期内新能源汽车品牌收入增长238%
- 中信银行上半年实现净利润290.31亿元 期末不良贷款余额706.82亿元
- 光伏概念掀起涨停潮交易价格创新高 全天成交额达1.29亿元
- 上半年生物药大增45% 关键财务指标好转营收账款持续下降
- 世界快资讯丨朗姿股份:公司旗下医美机构有植发业务,具体请咨询当地医美机构
- 杭州高新:截止2022年12月31日,公司股东人数为6734人
- 全球热点评!宝供投资4.01亿元仓储物流ABS更新为“已受理”
- 天天滚动:中新集团:受外部形势和政策等影响 决定终止中科洁净基金议案
- 运达股份:公司经营情况请以公司在证券时报和巨潮资讯网等指定媒体发布的信息为准
- 每日消息!上海复地投资管理质押豫园股份0.4亿股股份 累计质押3.51亿股
- 即时看!保利发展25亿元公司债将本息兑付并摘牌 票面利率3.95%
- 富士莱:硫辛酸为B族维生素,是丙酮酸脱氢酶系和α-酮戊二酸脱氢酶系的辅酶
- 【世界热闻】商务部公布首批全国示范智慧商圈名单 含北京三里屯等12个商圈
- 视点!美原油交易策略:需求预期改善,多头试探扭转颓势
- 全球热推荐:“热切期盼中国游客赴泰旅游” ,泰国国家旅游局联合飞猪邀请你去旅游
- 一张图:黄金原油外汇股指"枢纽点+多空占比"一览(2023/01/09周一)
- 热点聚焦:2023年哪些投资品种最佳?散户和华尔街双双看好黄金白银
- 今日关注:现货黄金交易策略:美元逼近逾半年低点,金价冲击1880关口
- 全球今头条!1月9日汇市观潮:欧元、英镑和日元技术分析
- 同程旅行发布春节出行趋势预测:长线度假市场回归,春节产品咨询量涨20倍
- 全球观天下!史上最冷楼市寒冬,我抓紧时间买了套房
- 当前滚动:1月9日华斯股份涨停分析:金融科技,纺织服装,网红概念热股
- 住建部部长表态支持首套房刚需 38城有望放宽首套房贷利率下限
- 一周公告合辑丨黄光裕再减持国美零售 融创走出“至暗时刻”
- 天天看热讯:1月9日君正集团涨停分析:硅锰,内蒙古,参股基金概念热股
- 每日观察!铜冠铜箔股东户数下降3.63%,户均持股4.24万元
- 今亮点!建发股份回应跌停:应与拟收购红星美凯龙有关 不可能承接所有债务
- 全球观点:宁沪高速:截至目前,江苏省尚未出台疫情免费补偿措施,公司将积极关注政策动向,切实维护投资者利益
- 2023年对楼市的6大预判
- 当前消息!1月9日南网能源涨停分析:建筑节能,风电,光伏概念热股
- 视讯!1月9日茂化实华涨停分析:磁悬浮,石油化工,油气改革概念热股
- 环球今日报丨2023年中美旅客出境游热情激增,亚欧是最受欢迎目的地
- 自掏腰包6000万 中庚丘栋荣拟发港股通基金 能卖得好么?
- 偏股基金净值快速“回血” 基金经理看多2023年权益资产
- 庞泉沟在哪里?庞泉沟有哪些景点?
- 贵妇狗是什么狗?贵妇犬的性格怎么样?
- 注册电气工程师怎么报名?注册电气工程师需满足哪些报考条件?
- 焦点热文:宫锁连城结局是什么?宫锁连城剧情简介?
- 短讯!中国邮政银行卡余额怎么查询?邮政银行卡余额查询方法有几种?
- 最新:弘扬民族精神的诗歌有哪些?
- 全球快资讯丨支付宝花呗利息是多少?支付宝花呗怎么分期?
- 篮球半场三秒规则是什么?
- 世界热文:唐山大地震震级多少?唐山大地震伤亡情况怎么样?
- 阳康们想出国旅游,但是机票却成了玄学
- 当前最新:理财方法有哪些
- 世界头条:独立储能或成为国内大储主要模式
- 工商业储能的3大应用场景
- 每日消息!南都电源三家子公司通过高新技术企业认定
- 世界观速讯丨新能源配储能利用率低?背后是新能源利用率高
- 播报:云南玉溪:开辟新能源电池产业新赛道
- 晶科能源与中天绿能签署战略合作协议
- 港珠澳大桥珠海公路口岸8日凌晨将迎来首批香港入境旅客
- 今日精选:江湖最后的大佬:微软发布9.0版VisualStudio
- 【世界新视野】企业办公管理软件——OA管理系统
- 今热点:独角兽企业重金招聘:京东联盟API申请攻略
- 世界观焦点:固态压阻压力传感器的应用价值 半导体单晶硅固态压阻压力传感器原理
- 当前简讯:细数泄漏过的数据库 目前已知公开的
- pmi导轨滑块型号里的字母都代表着哪些含义?
- 长春工业大学计算机科学在哪个校区?长春工业大学校区地址及简介
- 精彩看点:渗透测试是什么?渗透测试的流程和内容
- 当前热门:考研英语五附双语阅读:该如何要求涨工资?
- 每日热文:磁链是什么?传统的种子和磁链的区别
- 世界头条:创业服务平台有哪些?创业必须的一些网站和博客导航
- 售价6499起!华为Mate40系列手机国行版发布
- 天天精选!汽车香水有哪些推荐?香水团购介绍
- 劲舞团歌曲有哪些比较经典?劲舞团歌曲大全列表
- 天天报道:【刷机教程】三星9300GALAXYS3手机官方精简4.1版
- 今亮点!万劫不复的含义是什么?万劫不复什么意思?
- 天天讯息:tlntsvi_1547.exe劫持浏览器 傲游浏览器的快捷方式
- 天天最资讯丨“三无”食品是指什么?关于食品安全你应该知道的60件事
- 有什么好听的韩国歌曲?今日韩国歌曲最好听的十首歌
- 飞轮海是什么时候出道的?为什么解散?
- 全球滚动:呼伦贝尔大草原7月份是最佳旅游时间 呼伦贝尔草原旅游攻略
- 快报:牵手黄绮珊 牵手团你知道吗?
- 焦点速读:笔记本电脑连接不上无线网络怎么办?笔记本电脑连接不上无线网络原因及解决办法
- Apache软件基金会:Hadoop集群部署介绍
- 全球新消息丨黑莓Bold 9900与黑莓9360有什么区别?区别介绍
- 今日热闻!SVN 安装和命令详解 svn客户端常用命令一览
- 焦点快看:麦饭石的作用有哪些?麦饭石的作用和用处
- 情感文字语录有哪些?天冷人心暖的经典语录
- 当前消息!罗技G100S游戏鼠标对比谁才是最强王者?罗技g100和g100s区别介绍
- 环球讯息:工商银行u盾证书过期怎么更新?激活工行网银的方法
- YY语音如何使用YY号登录?YY语音使用YY号登录方法
- 头条焦点:笔记本的WIFI开关在哪里?笔记本WIFI打开方法
- 当前速递!Python数据分析——Pandas基础入门+代码(三)
- 【全球新视野】迅雷的后台偷偷上传怎么办?解决办法
- 诺基亚3230怎么刷机?诺基亚3230刷机的方法步骤
- 【环球新要闻】怎样调试卫星电视接收器?调试卫星电视接收器方法
- 全球今热点:什么是翻盖手机?诺基亚翻盖机两款推荐
- 快资讯:汽车空气净化器怎么选?车载臭氧空气净化器选购方法介绍
- 世界短讯!电信宽带大比拼 全国各地电信宽带价格汇总
- 电脑屏幕进入睡眠模式如何唤醒?怎么关闭睡眠模式?
- 观点:黑莓9380手机多少钱?黑莓9380手机测评和报价
- 短讯!你听过哪些六哲的歌?六哲全部歌曲100首
- 抖音限时可见是啥?抖音怎么设置?
- 全球速看:微信封号怎么查询详情?微信封号查询系统
- 如何将电脑显示屏呈现出淡绿色的颜色?保护眼睛的电脑设置步骤
- 家用净水器什么牌子好?十大家用净水器品牌排行榜
- 快资讯:“文房四宝”指的是哪四件?文房四宝详情介绍
- 动态焦点:电脑运行速度慢怎么办?电脑运行速度慢的原因及解决方法
- 黑莓8830怎么样?黑莓8830手机评测相关介绍
- 每日视点!安徽黄山门票多少钱?安徽黄山门票学生有啥优惠?
- 全球快看:苹果手机怎么下载游戏?苹果手机下载游戏的操作步骤
- bosemini音响怎么样?bosemini音响有哪些特点?