AR lab v0.1

想不想拥有超能力?使用手机+笔记本电脑即可轻松获得:隔空取人的超能力。手机对准某人,确认要“收集”的他/她,然后对准电脑桌面的某个位置,即可把他/她贴到电脑桌面上!~~~
背景
一直有关注AR领域的创新,尤其是图像分割算法、多屏联动、实时互动等技术。加上之前的创业经验,对于AR我有着任何既有软件功能都可以使用AR来实现一遍的想法,比如剪切、复制、放大、缩小等等图像的操作都可以使用算法获得AR的体验。趁此比赛机会专门针对人像的剪切进行了创作。
思路方案
为了使得此AR工具更为通用,我选取了移动端web的实现,通过在桌面端启动https服务,然后封装了百度飞桨所提供的人像分割模型,另外加上opencv的SIFT图像特征匹配算法,完成了此工具的开发。
1 使用html、css、JavaScript实现移动端摄像机调用,照片拍摄、叠加人物抠图效果的开发;
2 桌面端采用electron封装了https服务及robot.js自动化服务,调用python的算法。
3 通过python的sanic框架,封装了百度飞桨的人像分割算法和opencv的图像匹配,对外暴露接口。
4 当扣完图后,用手机摄像头对准电脑桌面的某位置,手机拍摄一张图片传送到桌面端,然后桌面端通过截屏的操作,最后通过图像匹配计算了手机摄像头对应到桌面屏幕的坐标点;
5 根据坐标点,electron把扣好的人物图片贴到桌面上悬浮或者通过robot.js操作鼠标粘贴到软件里。
效果呈现
除了可以日常收集艺术品里的人物,逛b站的时候可以让郭麒麟陪你~~甚至随时创作人物剪切画~~
更多有趣的玩法,就等你star、fork后玩耍~~~
快秀出你的脑洞!
(0)

相关推荐