移动投篮机，怎么编程投篮机
《机器之心》原作者：徐丹、陈平
这个小小的AR摄影机到底有什么技术呢？我们采访了腾讯微视技术团队。
腾讯微视近日又公布了一项黑科技。这款新发布的游戏《AR射击机》可以让你的手机秒变射击机。操作方法如下：进入腾讯微视APP，搜索“AR拍摄”。
点击AR射击机，进入游戏界面。找到背景面，将篮筐调整到最佳投篮位置，瞄准篮筐，将篮球向上滑动，击中篮筐即可得分。该游戏具有很强的现场适应性，即使在黑暗环境中也可以放置单一纹理的地板。
虽然是一款虚拟射击游戏，但腾讯微视游戏中的重力和碰撞都是为了模拟现实世界的物理而设计的。在滑动屏幕投球的过程中，用户滑动的速度、距离和角度决定了篮球投掷的落地点，最大限度地模拟了现实世界中投掷物体的力量、方向和重力。马苏。范围。用户只需几次击球就可以学会投球的力量和技术，然后依靠肌肉记忆连续多次击球，获得越来越高的分数奖励。打击感更酷、更强烈。不仅如此，根据篮板距离的不同，游戏分为普通模式和挑战模式，模拟真实的两分和三分。当连续得分达到20分时，篮筐就会开始左右移动，投篮机的真实游戏体验将得到最大程度的还原。
游戏虽小，但背后的技术并不简单，腾讯微视在“微视光流实验室”有一个AR团队，负责AR技术的研发，而这款AR射击机已经有4个月的历史了堪称腾讯微视AR技术集大成者。除了AR射击机，腾讯微视还有很多其他很酷的AR应用，比如《纸片人》、3D人民币等。 AR是近两年才出现在公众面前的“黑科技”，公众认知度较低。尽管在很多人看来，这仍然被认为是一项设备绑定技术，但腾讯微视正在将AR 带给普通消费者，使其可以在90% 的Android 智能手机上运行。这些炫酷的AR应用背后的技术原理是什么？AR技术如何“走进寻常百姓家”？我和腾讯微视技术团队进行了交谈。
横向AR算法：覆盖90%安卓智能手机的热门“AR射击游戏”诞生背后的故事在AR射击游戏中，虚拟的3D背板似乎附着在真实的地板上。我应该怎么办？基本上，您在3D 场景（例如带图案的地板）中找到具有某些特征点的附着平面，确定其坐标位置，然后将附着平面映射到2D 屏幕以定位所需的对象。在平面上显示图形或3D 模型。为了确定附着面，腾讯微视采用了“水平面AR算法”。通常的做法是使用SLAM 算法在定位水平面的同时扫描并绘制3D 场景。定位完成后，将AR 模型放置在水平表面上。接下来我们实际要做的就是获取一个变换，以建立模型坐标系和屏幕坐标系之间的映射关系。经过这样的改造，在屏幕上绘制的图形就可以达到附着在AR上的图形的效果。模型。具体来说，从模型坐标系变换到实际屏幕坐标系，必须先旋转变换到相机坐标系，然后再从相机坐标系映射到屏幕坐标系。然而，在移动AR游戏中，直接使用SLAM进行定位会给用户体验带来一些困难，导致游戏难以命中。对此，腾讯微视团队对技术进行了诸多优化。 “不同的玩法需要不同的算法，不能一直用SLAM算法，否则杀鸡用牛刀。”比如大多数手机只有一个摄像头，由于没有配备，所以只能使用单目SLAM必须使用算法。握住手机，直到有足够的视差来初始化。这种平移对用户体验有重大影响。另外，单目SLAM算法无法计算真实尺度，导致“大人小人”问题。腾讯微视的做法是充分利用手机上多个传感器和用户交互的信息，使其能够在第一帧中初始化并确定比例。通过使用专有的特征点跟踪算法，即使在纹理较弱的区域也可以实现准确且鲁棒的跟踪。使用过程中不会出现延迟或丢失定位的情况。此外，用户还可以用手拖放AR模型，也可以用手拾取和放置模型，使得用户交互非常有趣。顺便说一下，ARkit和ARcore没有这样的功能，他们只是手动放置AR模型。
PBR渲染：基于物理定律，水平面AR算法的游戏级渲染效果可以使篮板贴在真实地板上，但很难创建真实的篮球和篮板的3D模型。还取决于渲染技术。对此，腾讯微视采用了PBR渲染（正式名称PBR（Physicallly-Based Rendering））。它是一种基于模拟物理定律的渲染技术，开始用于电影的真实感渲染，但近年来，随着硬件性能的提高，它也被广泛应用于电影的实时渲染。电脑游戏和电脑游戏。控制台游戏。腾讯微视光流实验室自主研发的移动设备高性能3D引擎，采用业界领先的PBR算法，媲美游戏级渲染效果，在移动设备中名列前茅。相比主流游戏引擎，包大小仅约1.3MB。除了出色的PBR渲染效果外，引擎架构保持了良好的可扩展性，支持高性能毛发效果渲染。同时，腾讯微视的3D引擎支持为每个3D节点配置独立的着色器，提高了可扩展性，为创新应用提供了技术基础。此外，该算法还集成了动态骨骼插件DynamicBone，可以让您高性能地模拟头发、衣服等各种软硬晃动效果。它还具有高性能GPU 3D 粒子系统，可同时支持数万个粒子。腾讯微视3D引擎可以为设计师支持Android、Windows、Linux、macOS等跨平台应用。它还提供了一套完整的工具链和对3D 编辑器的支持，帮助设计人员灵活高效地进行组装。多种3D游戏玩法。
Marker AR：将钞票图案转变成现实场景的“3D人民币”挂件，也是AR玩法的典型。用户只需用手机扫描人民币背面，钞票上的景点图案就会像激活一样直接显示在屏幕上，充满乐趣，为很多用户提供了新的旅游创意。报到。
这背后的技术就是Marker AR算法。在扫描人民币时，标记AR算法利用图像搜索算法识别人民币背后的Maker图案，并可以通过特征匹配算法准确估计标记的位置和姿态。将预设的3D模型放置在识别出的Maker图案上，当用户移动人民币时，放置的3D模型也会相应移动。实际操作中，用户可以放置多张人民币。为了保证多标记检测的实时性，腾讯微视团队根据标记检测后的连续图像帧进行标记跟踪，并支持在移动设备上实时跟踪最多10个或更多标记。这么多的AR特效，动画设计师如何应用呢？在这方面，腾讯微视也做了很多工作，包括将现有的AR算法集成到SDK中，我来了。在玩法设计方面，腾讯微视将基础功能集成封装成图形操控工具，供设计师使用。设计师不需要了解复杂的算法，只需要准备好材料和想法，就可以在几分钟内快速创建出来。最初需要算法和工程专业学生数周时间输入的游戏玩法，大大提高了生产效率。 AR技术会对。。。产生什么影响？腾讯微视认为，目前AR技术还比较前沿，用户认知度不高，整体行业软硬件成熟度不高。而AR这种基于三维空间的信息展示与交互，是未来的趋势，将与5G、AI等技术相互促进发展。腾讯微视为AR带来了更多用户，培养了用户习惯。 “购买昂贵的AR 设备对于大多数人来说显然不是一个选择。我们正在以更真实的方式打破虚拟与现实之间的界限。这是一种全新的游戏体验。在这个过程中构建用户的思维。”
