设为首页 加入收藏
  精选图片
  精彩视频
为什么哈工大哈尔滨校区的高
JustinBieber为何放弃SelenaGomez最
冲上南京大学好还是保底上同
什么是古典型前腰谁提出了这
中国矿业大学孙越崎学院建议
dota2打的挺多的但分数上不去
傻瓜相机和拍立得相机更推荐
为何周天子自己不掌握军队而
为什么喜欢奥迪
为什么没人说古人抄袭
  影视  
为什么今日头条在AppStor 
合肥工业大学长安大学安 
亲戚要开淘宝店卖东北特 
QQ音乐这种产品是如何解决 
2018年齐亮相的国产奥迪 
前端对AST抽象语法树的应 
你最爱的门将是谁_2 
当前位置:主页 > 影视 >

GoogleProjectTango有哪些黑科技

2020-02-26 17:53:14

ProjectTango不论从硬件和软件上讲都是一款技术含量很高的产品,正如其高级工程师JohnnyLee所言,"We'redevelopingthehardwareandsoftwaretechnologiestohelpeverythingandeveryoneunderstandpreciselywheretheyare,anywhere."相信接触过Tango的同学应该都会惊叹于那些基于Tango的App所呈现的效果。从硬件上看,tango的黑科技从他的三个阶段硬件中可以窥见大致:1.2014Q1Google独立发布的Peanut原型手机。在ifixit上很早就有了这个样机的完整拆解。手机的背面有几个重要的光学器件:从左往右,依次有一个IR红外相机,旁边是一个RGB相机,然后跨过5cm左右距离,有一个IRprojector,然后是一个180度的定制鱼眼相机。从实验看,IRprojector打到墙上的红外光斑纹理,和Kinect所投射的问题极其相似。在他的主板上,也看到Primesense的PSK1200SOC芯片。这验证了这款手机的Depth使用了Kinect授权的structuredlight技术。而其实在第一款Tango设备面世之前,也就是2013年底,Primesense就已经被Apple收购了。因此我们看到第一款PeanutPhone并没有大规模公开销售,很快就更新成了第二款的Yellowstone平板了。CPU采用了高通骁龙800,另外非常土豪的安装了两块MovidiusMyraid1VPU芯片。Movidius相信大家也有所耳闻,前不久被Intel收入囊下。这个芯片是专门用来做视觉算法处理的DSP,功耗很低,可以把一些高频次的计算从CPU上offload到周边,举个例子,计算量非常高的SIFT或者SUFT算子,是SLAM中非常重要的计算单元,也是计算的大头,如果有这两颗芯片,那么SLAM就可以以很低的负载在CPU上运行了。值得一提的是,这款机器还装有两个IMU,一个是苹果御用的Invensense,另外还有一个Bosch的型号。2.YellowstoneTablet第二款是一个代号“Yellowstone”的7英寸平板,这个型号曾经于2015年在Tango的官网上进行贩售。从摄像头模组来看,从左到右,依次是RGB相机,IR相机,鱼眼相机,和红外projector。据ifixit的消息,IRprojector换成了MantisVision的模组,我们实测的结果是,这款depthcamera的质量不太理想,depth点非常sparse。主CPU换成了能力更强功耗也更高的NvidiaK1,这个芯片携带了在当时的mobile领域堪称核弹的GPU。Nvidia为了这个芯片,甚至出了一个专门优化的Opencv版本,可谓煞费苦心。因此至今仍有很多计算机视觉硬件项目使用这块处理器。有网络消息称其采用了MovidiusMyriad2VPU,但从拆解看并没有看到该芯片,对此表示谨慎态度。另外,这儿有一块STM32是特殊为tango添加的芯片,从公开信息看,他的主要功能是把不同的传感器加入hardwaretimestamp,据称可以达到50us的精度。3.联想的Phab2Pro手机在2016年1月的CES上,google宣布与联想联合推出第一款针对消费者的Tango设备,这是一个6寸的智能手机。联想的Phab2Pro手机暂时没有找到拆解的信息,唯一找到一张该手机使用的高通处理器架构图,可以对应到上面两页中的信息。可以确认的是,Phab2Pro使用的高通骁龙652,是专门为Tango定制。从这种架构图中,可以看到,输入源仍然有:高频率的IMU数据,鱼眼相机数据流,RGB相机数据流,和ToFdepth数据流。Depthcamera换成了TOFsensor,从depth质量看,相比前一代有明显的提升。这些传感器全部接入到高通,并且在内部实现了一个硬件时间戳同步机制,达到了50us的精度。另外,还有一个内置的DSP,专门来实现前面讨论过的featuretracker。而在CPU上实际运行的是Tango的sensorfusioncore程序,这里提到仅占10%的CPUload,这个数字事实上与我们手中的Yellowstone平板的CPU测量结果也相符。在此验证,Tango的异构计算设计,featuretracker在DSP或GPU中实现,而fusioncore在CPU中实现。可以看到,高通为了Tango专门定制的这枚芯片基本实现了一块SOC芯片完成所有需求。同时,Movidius协处理器不见了,负责硬件时间戳的STM32不见了。软件上,Tango第一次实现了接近实用的视觉惯性里程计(VisualInertialOdometry-VIO)之前该算法都只能使用在实验室环境和特定观景中,如火星探索车等。为了实现这一点,除了上面所说的硬件外,tango在软件上也用了不少特定的设计来支持VIO等功能,比如从它的Log看,为了快速提取环境特征点,它使用GPU加速来提取Freak特征点。Tango诸如此类的“黑科技”还有很多,这里不一一列举,大家可以自行发掘。总之,可以看出Tango为了得到今天的效果,在软硬件上都下了很大功夫。关于TangoVIO技术的更多探究可参考:如何评价Google的ProjectTango?

上一篇:内涵漫画网台湾空姐夹带毒品遭质疑:空服员有“特别通关”?甘肃幼儿园校车
下一篇:OCR文字识别用的是什么算法