在过去几年中 ，3D 传感器（例如，激光雷达、深度感应摄像头和雷达）的日益普及催生了对能够处理这些设备捕获的数据的场景理解技术的需求。这种技术可以使使用这些传感器的机器学习 (ML) 系统（如自动驾驶汽车和机器人）在现实世界中导航和操作，并可以在移动设备上创建改进的增强现实体验。计算机视觉领域最近开始在 3D 场景理解方面取得良好进展，包括用于移动 3D 物体检测、透明物体检测的模型等，但由于可应用于 3D 数据的可用工具和资源有限，因此进入该领域可能具有挑战性。 为了进一步提高对 3D 场景的

重新排列物体（例如整理书架上的书籍、移动餐桌上的餐具或推动成堆的咖啡豆）是一项基本技能，可以使机器人与我们多样化和非结构化的世界进行物理交互。虽然对人们来说很容易，但完成这些任务对于具身机器学习 (ML) 系统来说仍然是一个开放的研究挑战，因为它需要高级和低级的感知推理。例如，在堆放一堆书时，可以考虑将书堆放在哪里，按什么顺序堆放，同时确保书的边缘对齐，形成整齐的堆放。 在 ML 的许多应用领域，模型架构的简单差异可以表现出截然不同的泛化特性。因此，人们可能会问是否有某些深层网络架构支持重排问题

深度强化学习 (RL) 使人工代理能够随着时间的推移改进他们的决策。传统的无模型方法通过大量试错与环境交互来了解哪些动作在不同情况下是成功的。相比之下，深度强化学习的最新进展使基于模型的方法能够从图像输入中学习准确的世界模型并将其用于规划。世界模型可以从更少的交互中学习，促进离线数据的泛化，实现前瞻性探索，并允许跨多个任务重用知识。 尽管有很多有趣的好处，但现有的世界模型（例如SimPLe）还不够准确，无法在最具竞争力的强化学习基准测试中与顶级的无模型方法竞争——迄今为止，完善的Atari 基准

神经网络(NN) 的成功通常取决于它对各种任务的泛化能力。然而，设计可以很好泛化的神经网络具有挑战性，因为研究界目前对神经网络如何泛化的理解有些有限：对于给定的问题，合适的神经网络是什么样的？应该多深？应该使用哪些类型的层？将LSTMs足够或将在变压器层是更好吗？或者也许是两者的结合？是合奏还是蒸馏提高性能？在考虑机器学习 (ML) 领域时，这些棘手的问题变得更具挑战性，因为在这些领域中，可能存在比其他领域更好的直觉和更深入的理解。 近年来，出现了AutoML算法 [例如1 , 2 , 3 ]

查看过去的照片可以帮助人们重温他们最珍贵的时刻。去年 12 月，我们推出了电影照片，这是 Google 相册中的一项新功能，旨在重现拍摄照片时的沉浸感，通过推断图像中的 3D 表示来模拟相机运动和视差。在这篇博文中，我们将了解这一过程背后的技术，并展示电影照片如何将过去的单张 2D 照片转变为更具沉浸感的 3D 动画。 ## ***深度估计*** 与许多最近的计算摄影功能（例如人像模式和增强现实(AR)）一样，电影照片需要深度图来提供有关场景 3D 结构的信息。在智能手机上计算深度的典型技术依赖

任何机器学习方法的有效性都严重依赖于其训练数据。在强化学习(RL)的情况下，人们可以依赖于与现实世界交互的代理收集的有限数据，也可以依赖可用于收集所需数据的模拟训练环境。后者在模拟训练方法越来越流行，但它有一个问题- RL剂可以了解什么是内置模拟器，但往往是坏 在 推广到甚至比模拟的略有不同的任务。显然，构建一个涵盖现实世界所有复杂性的模拟器极具挑战性。 解决这个问题的一种方法是通过随机化模拟器的所有参数来自动创建更多样化的训练环境，这一过程称为域随机化(DR)。但是，即使在非常简单的环境中，D

人们经常求助于技术来管理他们的健康和福祉，无论是记录他们的日常锻炼、测量他们的心率，还是越来越多地了解他们的睡眠模式。睡眠是一个人日常健康的基础，并且会受到（进而影响）一个人生活其他方面的影响——情绪、精力、饮食、生产力等等。 作为我们为支持人们的健康和幸福所做的持续努力的一部分，今天我们在新的 Nest Hub 中宣布了睡眠感应，它使用基于雷达的睡眠跟踪以及咳嗽和打鼾检测算法。虽然不用于医疗目的1，但睡眠感应是一项可选功能，可以使用非接触式床边设置帮助用户更好地了解他们的夜间健康状况。在这里，

在过去几年中，开发用于音频理解的机器学习 (ML) 模型取得了巨大进步。利用从数据中学习参数的能力，该领域已逐渐从复合的、手工制作的系统转变为当今用于识别语音、理解音乐或对鸟类叫声等动物发声进行分类的深度神经分类器。然而，与可以从原始像素中学习的计算机视觉模型不同，用于音频分类的深度神经网络很少从原始音频波形中进行训练。相反，他们依赖于 mel 滤波器组形式的预处理数据——手工制作的mel 缩放 频谱图 旨在复制人类听觉反应的某些方面。 尽管为 ML 任务建模 mel 滤波器组在历史上是成功的，

神经网络的设备端推理以低延迟和注重隐私的方式支持各种实时应用，如姿势估计和背景模糊。使用带有XNNPACK ML 加速库的TensorFlow Lite等 ML 推理框架，工程师通过找到模型大小、推理速度和预测质量之间的最佳点来优化他们的模型以在各种设备上运行。 来优化模型的一种方法是通过使用稀疏神经网络[的1，2，3 ]，其具有它们的权重设为零的显著部分。一般来说，这是一种理想的质量，因为它不仅通过压缩减小了模型大小，而且还可以跳过大部分乘加运算，从而加快推理速度。此外，可以增加模型中的参数数

理解泛化是深度学习中尚未解决的基本问题之一。为什么在有限的训练数据集上优化模型会在保留的测试集上获得良好的性能？这个问题在机器学习中得到了广泛的研究，其悠久的历史可以追溯到 50 多年前。现在有许多数学 工具可以帮助研究人员理解某些模型中的泛化。不幸的是，这些现有理论中的大多数在应用于现代深度网络时都失败了——它们在现实环境中既空洞又不可预测。这种理论与实践之间的差距最大的是过度参数化模型，理论上有能力过度拟合其训练集，但在实践中通常不会。 在ICLR 2021接受的“ The Deep Boo

图是实体组之间联系的有用理论表示，并已用于数据科学中的各种目的，从按受欢迎程度对网页进行排名和绘制社交网络，到辅助导航。在许多情况下，此类应用程序需要处理包含数千亿条边的图，这对于在单个消费级机器上处理来说太大了。缩放图算法的典型方法是在分布式系统中运行设置，即在多台计算机之间划分数据（和算法）以并行执行计算。 虽然这种方法允许人们处理具有数万亿条边的图，但它也带来了新的挑战。也就是说，由于每台计算机一次只能看到一小部分输入图，因此需要处理机器间通信和设计可以拆分到多台计算机的算法。 一个实现分

通过语音和视频通话与其他人在线联系越来越成为日常生活的一部分。实时通信框架（如WebRTC）使这成为可能取决于有效的压缩技术、编解码器，以编码（或解码）信号以进行传输或存储。几十年来，编解码器是媒体应用程序的重要组成部分，它允许需要带宽的应用程序有效地传输数据，并导致人们对随时随地进行高质量通信的期望。 因此，开发视频和音频编解码器的持续挑战是提供更高的质量、使用更少的数据并最大限度地减少实时通信的延迟。尽管视频似乎比音频更需要带宽，但现代视频编解码器可以达到比当今使用的某些高质量语音编解码器更

越来越多的应用程序是由在不同加速器集上训练的大型复杂神经网络驱动的。这个过程由 ML 编译器促进，将高级计算图映射到低级、特定于设备的可执行文件。为此，ML 编译器需要解决许多优化问题，包括图形重写、设备上的操作分配、操作融合、张量的布局和平铺以及调度。例如，在设备放置问题中，编译器需要确定计算图中的操作到目标物理设备之间的映射，以便可以最小化目标函数，例如训练步骤时间。放置性能由复杂因素的混合决定，包括设备间网络带宽、峰值设备内存、协同定位约束等，这使得启发式算法或基于搜索的算法具有挑战性，这

日常动作，例如慢跑、读书、倒水或运动，可以被视为一系列姿势，包括一个人身体的位置和方向。从图像和视频中了解姿势是实现一系列应用的关键步骤，包括增强现实显示、全身手势控制和体育锻炼量化。然而，在图像和视频中以二维方式捕获的 3 维姿势因相机的视点而异。仅使用 2D 信息识别 3D 姿势相似性的能力将有助于视觉系统更好地理解世界。 在ECCV 2020的焦点论文“ View-Invariant Probabilistic Embedding for Human Pose ”（Pr-VIPE）中，我们

在过去几年中，用于文本摘要等任务的自然语言生成研究取得了巨大进展。然而，尽管实现了高水平的流畅性，神经系统仍然容易产生幻觉（即生成可理解但不忠实于来源的文本），这可能会阻止这些系统用于许多需要高度准确性的应用程序。考虑来自Wikibio 数据集的一个示例，其中负责总结比利时足球运动员Constant Vanden Stock的 Wikipedia 信息框条目的神经基线模型错误地总结了他是美国花样滑冰运动员。 ![file](/static/upload/bigpic/20210908/16311