为什么我们建立了Magic Sudoku，ARKit Sudoku Solver

提示：计算机视觉+增强现实=哇

魔术数独应用程序在行动

Brad Dwyer是Hatchlings的创始人，Hatchlings是一家在爱荷华州得梅因市生产游戏和移动应用的公司。

上周，我的公司Hatchlings发布了适用于iOS11的Magic Sudoku。它是一个应用程序，结合计算机视觉，机器学习和增强现实解决数独难题。

我们得到了很多关注，包括在imgur上获得第一名，被转发超过2000次，进入黑客新闻和产品搜索的头版，并在The Verge和The Next Web等主要出版物中出现。

很多人都向我询问了这个应用程序，所以我认为分享一些幕后工作方式和建造原因会很有趣。

这是一个由3部分组成的系列中的第一篇文章。第二部分是一篇技术文章，详细介绍****了****我们如何 构建应用程序（包括查看我们为帮助机器学习组件而构建的后端工具）。第三部分将探讨经验教训和业务方面。

在Twitter上订阅或关注我，您将成为第一个知道他们何时出局的人。并且不要忘记下载应用程序并自己尝试一下！

Magic Sudoku使用计算机视觉，机器学习和增强现实的力量解决了Sudoku难题

是什么让Magic Sudoku与众不同？

当Apple在WWDC17上宣布ARKit时，我立即知道我想用它来构建一些东西。我开始考虑潜在的应用创意。

我有一堆想法，但想找到一个符合我的标准列表的想法。其中，我想学习Swift，使用ARKit，并且第一次将我的脚趾浸入机器学习中。但首要的是：我想要通过增强现实来构建实际可以改进的东西！

Pokemon Go的AR看起来很酷但不是游戏玩法的组成部分

太多的AR应用程序没有令人信服的理由使用该技术。他们为“酷”因素增加了增强现实，但基本上只是在你正处于“仅仅因为”的房间的视频信息的顶部放置一个3D模型并称之为一天。

哎呀，甚至Pokemon Go都属于这一类。您可以将增强现实模式切换为“关闭”，应用程序也可以正常工作。

我的想法是将计算机视觉与增强现实结合起来，创建一个简单，流线型的UI，没有它就是不可能的。

一旦我做出决定，我将我的列表缩小到几个符合我所有标准的概念，并最终着手构建填字游戏解算器。在探索了几天后，我确定使用我可用的工具（Vision图像分割API不能完成任务）并且切换到构建数独求解器是不可行的。

如何将计算机视觉添加到等式中会改变一切

辛普森一家做到了。
〜很多人

大多数反馈都是积极的。但是我得到的最常见的负面反应是“Google Goggles自2011年以来一直在这样做的事情。”是的，数独求解器已经有很长一段时间了。数独求解器本身并不是很酷的部分。在大约1个月的开发时间内，编写实际解决难题的代码只用了一两个小时。

技术人员倾向于理解为什么应用程序很酷。但它归结为：Magic Sudoku演示了一种新的人机交互模型 ; 计算机视觉是输入设备，增强现实是输出设备。

旁注：更改或添加新的“输入/输出”配对组合通常会提供新的更好的处理方式。示例：自动驾驶汽车（视觉/电机），IOT（传感器/ API），谷歌翻译（文本/文本），仪器（触摸/音频），Shazam（音频/文本），Snapchat过滤器（图像/图像），Amazon Echo （语音/ <许多>）。还有哪些其他输入/输出配对还没有被探索过？

image.png

有几个人将这个应用程序与“终结者视觉”进行了比较，我认为这可以很好地了解当你结合CV + AR时可能会有什么。

终结者不必查看某些内容，拍摄快照，将其提供给特定的应用程序进行处理，然后查看结果。他只是看一些东西，然后转变成一种更有用的状态。

Luke Wroblewski在他的博客中完美地描述了这种互动模式，关于增强现实耳机应该如何工作。

请注意这对于UI是多么具有变革性。没有中间步骤。没有按钮。没有对话框。没有不同的屏幕。你只需看一下东西，看看世界的转换版本（在我们的例子中，你看一个空的数独并看到解决方案）。

iOS的单词镜头翻译

结合CV + AR的另一个很好的例子是Word Lens（由谷歌收购，现在内置于谷歌翻译中），它只是通过指向用另一种语言编写的东西来实时翻译文本。

通过使用计算机视觉和增强现实，我们改变了世界，而不是像许多当代AR应用程序那样“添加”它。

所以是的，你可以创建一个没有增强现实的数独求解器。但是当你添加AR时它会变得更好。与最简单的求解器相比，数据输入的时间节省是夜晚和白天（键盘输入与直播视频流的立即扫描）。与上一代图像扫描数独求解器相比，流程大大简化和简化。

随着时间的推移，我们有几个功能即将推出，这将使AR提供的独特优势更加明显（但我不想将豆子溢出到那些！）

敬请关注…