谷歌官方回应称“tensorflow已被放弃”:它仍在投资开发,并将与Jax并肩作战

鱼羊 发自 凹非寺

量子位 | 公众号 QbitAI

终于,谷歌出面回应“TensorFlow遭弃”传闻:

我们将继续致力于将TensorFlow打造为一流机器学习平台,与JAX并肩推动机器学习研究。

这段时间,“JAX取代TensorFlow”这个话题可谓热议不休。

不仅Business Insider等媒体援引内部人士消息,称“谷歌大脑和DeepMind已经普遍放弃TensorFlow,转投JAX”。

连LeCun、fast.ai创始人Jeremy Horward等大咖也纷纷下场围观,表示深度学习框架之间的竞争进入了一个新的阶段。

在TensorFlow因日渐臃肿、学习成本高等问题,越来越受到业界诟病的背景之下,“谷歌抛弃TensorFlow”似乎没什么毛病。

不过,在舆论发酵了一段时间之后,现在,TensorFlow官方团队终于还是出面“辟谣”,发文表示:

我们将继续投资TensorFlow和JAX两个ML框架,以推动数百万用户的研究和应用。

具体详情,一起来看TensorFlow博客写了点啥。

官方:TensorFlow是我们交给工程师的答案

TensorFlow官方在文章中引用了Stack Overflow的最新统计数据。

数据显示,TensorFlow在机器学习领域整体上仍然比PyTorch受欢迎

另外,TensorFlow目前每月下载量超过1800万次,并在GitHub上拥有16.6万标星。

相比之下,PyTorch的标星数是5.7万,JAX的标星数是1.91万。

官方团队强调,在谷歌内部,TensorFlow几乎为所有AI生产工作流程提供支持,包括搜索、广告、YouTube、邮箱、地图、Play、地图等。

而苹果、网飞、腾讯、Uber等等知名企业,也都在使用TensorFlow支持他们的生产系统。

至于为啥现在谷歌重视JAX,原因则是:

近年来,我们发现,单一通用框架往往无法适用于所有场景——尤其是生产和前沿研究的需求经常发生冲突。

因此,我们创建了JAX,一个用于分布式数值计算的简单API。

JAX在前沿研究领域有着非常出色的表现:达到了新的并行规模,推进了新的算法和框架,还发展出了新的编译器和系统。

官方还举例说,AlphaFold和Imagen都已经验证了JAX的价值。

相比之下,TensorFlow则是“我们满足应用机器学习开发人员需求的答案”。

也就是说,TensorFlow会更侧重满足工程师们在任意规模和任意平台上,构建并部署可靠、稳定、高性能的机器学习系统的需求。

此外,谷歌官方在JAX和TensorFlow互通方面也做了不少工作。

比如通过jax2tf,研究人员就能把JAX模型放在TensorFlow上投入生产。

最后,官方提到:

展望未来,我们将继续致力于将TensorFlow打造为一流机器学习平台,与JAX并肩推动机器学习研究。

我们将继续投入资源发展这两个机器学习框架,以推动数百万用户的研究和应用。

还顺带打了一波招聘广告(手动狗头)。

关于JAX

2018年,JAX诞生于谷歌大脑的一个三人小团队之手。

诞生之初,其瞄准的就是高性能数值计算和机器学习研究。

JAX可以看作是支持GPU、TPU等加速器加速、支持自动微分的Numpy变体。

简单来说,可以这样理解:当你想处理一些对算力要求很高的问题时,通过JAX,你可以将复杂的问题快速分散到多个TPU上。

目前,谷歌大脑的Trax、Flax、Jax-md,以及DeepMind的神经网络库Haiku和强化学习库RLax等,都是基于JAX构建的。

值得一提的是,JAX诞生之际,正是PyTorch在学术界强烈冲击TensorFlow之时。

加州大学伯克利分校旗下研究机构RISELab的数据显示:

2019年1月到6月底,在arXiv上发表的论文中,提及TensorFlow和PyTorch的数量相差无几,PyTorch仅稍稍落后。

不过在增长速度方面,与2018年1-6月相比,PyTorch的“份额”增长了194%。TensorFlow则只增长了23%。

参考链接:https://blog.tensorflow.org/2022/06/%20bringing-machine-learning-to-every-developers-toolbox.html?m=1

谷歌官方回应:我们没有放弃tensorflow,未来将与Jax并肩发展

机器之心报道

编辑:陈萍

TensorFlow 不是谷歌的一枚「弃子」,将会继续开发。

前段时间,AI 界流传着这样一种说法,大概意思就是说,TensorFlow 已经成为了谷歌的一枚「弃子」。

更是有外媒 Business Insider 采访了一系列开发人员、硬件专家、云供应商以及与谷歌机器学习工作关系密切的人,获得了同样的观点:2015 年诞生的 TensorFlow,曾经辉煌一时,而 Meta 在 2017 年开源的 PyTorch 正在成为该领域的霸主,在此战争中,谷歌开始押宝 JAX。

接近该项目的人士曾告诉 Insider,谷歌大脑和 DeepMind 在很大程度上放弃了 TensorFlow,转而使用 JAX。一位谷歌内部人士也向 Insider 证实,JAX 现在几乎已在谷歌大脑和 DeepMind 中被全球采用。

熟悉该项目的人士也表示,JAX 现在有望成为未来几年所有使用机器学习的谷歌产品的支柱,就像 TensorFlow 在 2015 年之后几年所做的那样。

一时之间,关于谷歌要放弃 TensorFlow,全面转向 JAX 的说法闹得人尽皆知。谷歌内部人员的爆料,让人更加确信这一说法是真的。

到底事实如何?TensorFlow 官方博客回应来了,这篇回应来自 TensorFlow 团队中的两位研究者 Laurence Moroney 和 Josh Gordon。总结来说就是:谷歌并没有像网传的那样放弃 TensorFlow,将继续投资研发。

谷歌:我们没有放弃 TensorFlow,将与 JAX 并肩发展

Stack Overflow 最近发布了一项调查报告,报告显示 TensorFlow 是目前最常用的 ML 工具,被 300 万软件开发者采用。其实这一数字才刚刚开始,估计会有 400 万开发人员希望在不久的将来采用它。

图源:https://survey.stackoverflow.co/2022/#most-loved-dreaded-and-wanted-misc-tech-want

TensorFlow 现在每月被下载超过 18M 次,在 GitHub 上积累了 166k 颗星——比任何其他 ML 框架都多。在谷歌内部,TensorFlow 几乎支持所有 AI 生产工作流,包括搜索、广告、YouTube、GMail、地图、Play 等。它还被苹果、Netflix、Stripe、腾讯、优步、罗氏、LinkedIn、Twitter、百度、LVMH 等各大公司采用。

Google Scholar 上每个月都有超过 3000 篇出版物提到 TensorFlow,包括重要的应用科学研究,比如了解癌症的 CANDLE 研究。

近年来,我们了解到单一的通用框架无法适用于所有场景——尤其是在生产和前沿研究经常发生冲突的领域。因此,我们创建了 JAX,这是一个用于分布式数值计算的简化 API,为科学计算研究的下一个时代提供动力。JAX 在推动新的领域方面非常出色:达到新的并行规模,此外还推进了新的算法和体系结构,以及帮助研究者开发新的编译器和系统。JAX 在科研领域确实很受欢迎。

在这个多框架世界中,TensorFlow 是我们交给应用 ML 开发人员的一份答案——工程师需要在不同规模和不同平台上构建和部署可靠、稳定、高性能的 ML 系统。我们的愿景是创建一个有凝聚力的生态系统,研究人员和工程师可以利用系统组件进行研究,而不管它们起源于哪个框架。我们已经在 JAX 和 TensorFlow 互操作性方面取得了长足进步,特别是 jax2tf 的开发。开发 JAX 模型的研究人员能够通过 TensorFlow 平台的工具将它们投入生产。

未来,我们继续开发 TensorFlow ,并将其作为一流的应用 ML 平台,与 JAX 并肩推动 ML 研究发展。我们将继续在这两个 ML 框架上投资,以推动研究和应用,为我们的数百万用户服务。

参考链接:https://blog.tensorflow.org/2022/06/%20bringing-machine-learning-to-every-developers-toolbox.html?m=1

Tensorflow Lite,谷歌移动终端深度学习框架

TensorFlow Lite 是一款 TensorFlow 用于移动设备和嵌入式设备的轻量级解决方案。

TensorFlow 可以在多个平台上运行,从机架式服务器到小型 IoT 设备。但是随着近年来机器学习模型的广泛使用,出现了在移动和嵌入式设备上部署它们的需求。而 TensorFlow Lite 允许设备端的机器学习模型的低延迟推断。

设计初衷

  • 轻量级:允许小 binary size 和快速初始化/启动的设备端机器学习模型进行推断。
  • 跨平台:运行时的设计使其可以在不同的平台上运行,最先允许的平台是安卓和 iOS。
  • 快速:专为移动设备进行优化,包括大幅提升模型加载时间,支持硬件加速。

现在,越来越多移动设备内置了专门的自定义硬件以高效处理机器学习工作负载。TensorFlow Lite 支持安卓神经网络 API,以充分利用新的可用加速器。

当加速器硬件不可用时,TensorFlow Lite 返回至经优化的 CPU 执行操作,确保模型仍然可在大量设备上快速运行。

架构

下图展示了 TensorFlow Lite 的架构设计:

组件包括

  • TensorFlow 模型(TensorFlow Model):训练后的 TensorFlow 模型,保存在磁盘中。
  • TensorFlow Lite 转换器(TensorFlow Lite Converter):该程序将模型转换成 TensorFlow Lite 文件格式。
  • TensorFlow Lite 模型文件(TensorFlow Lite Model File):该格式基于 FlatBuffers,经过优化以适应最大速度和最小规模。

然后将 TensorFlow Lite 模型文件部署到移动 App 中:

  • Java API:安卓设备上适用于 C++ API 的便利封装。
  • C++ API:加载 TensorFlow Lite 模型文件,启动编译器。安卓和 iOS 设备上均有同样的库。
  • 编译器(Interpreter):使用运算符执行模型。解释器支持选择性加载运算符;没有运算符时,编译器只有 70KB,加载所有运算符后,编译器为 300KB。这比 TensorFlow Mobile(具备一整套运算符)的 1.5M 要小得多。
  • 在选择的安卓设备上,编译器将使用安卓神经网络 API 进行硬件加速,或者在无可用 API 的情况下默认执行 CPU。

开发者还使用 C++ API 实现自定义 kernel,它可被解释器使用。

模型

TensorFlow Lite 已经支持多个面向移动端训练和优化的模型:

  • MobileNet:一种能够识别超过 1000 种不同物体的视觉模型,专为移动端和嵌入式设备设计;
  • Inception V3:一种图像识别模型,功能上类似于 MobileNet,但能提供更高的准确率(当然模型也更大);
  • Smart Reply:一种设备端对话模型,能对接收到的会话聊天信息提供触发性应答。第一方和第三方通信 App 可在 Android Wear 上使用该特性。

Inception v3 和 MobileNet 都在 ImageNet 数据集上训练过,你可以通过迁移学习轻松地在自己的图像数据集上重新训练这些模型。

项目地址

https://github.com/tensorflow/tensorflow

从框架的优缺点开始,这是一个介绍tensorflow的极简教程

随着 Tensorflow 在研究及产品中的应用日益广泛,很多开发者及研究者都希望能深入学习这一深度学习框架。而在昨天机器之心发起的框架投票中,2144 位参与者中有 1441 位都在使用 TensorFlow 框架,是所有框架中使用率最高的。但 TensorFLow 这种静态计算图有一定的学习成本,因此也阻挡了很多初学者入坑。本文介绍了学习 TensorFlow 的系列教程,旨在通过简单的理论与实践帮助初学者一步步掌握 TensorFlow 的编程技巧。这一系列教程分为 6 部分,从为什么选择 TensorFlow 到卷积神经网络的实现,介绍了初学者所需要的技能。机器之心在本文介绍了 PyTorch 和 Caffe 等深度学习框架的优缺点及 TensorFlow 基础,包括静态计算图、张量、TensorBoard 可视化和模型参数的保存等。

机器之心此前也介绍过很多 TensorFlow 的学习资源,读者可结合这些资源阅读该系列教程:

学习了!谷歌今日上线基于 TensorFlow 的机器学习速成课程(中文版)机器之心 GitHub 项目:从零开始用 TensorFlow 搭建卷积神经网络教程 | 从零开始:TensorFlow 机器学习模型快速部署指南分布式 TensorFlow 入坑指南:从实例到代码带你玩转多机器深度学习三天速成!香港科技大学 TensorFlow 课件分享TensorFlow 从基础到实战:一步步教你创建交通标志分类神经网络为什么选择 TensorFlow?在本文中,我们将对比当前最流行的深度学习框架(包括 Caffe、Theano、PyTorch、TensorFlow 和 Keras),帮助你为应用选择最合适的框架。

1. Caffe:第一个主流产品级深度学习库,于 2014 年由 UC Berkeley 启动。

优点:

快速支持 GPU漂亮的 Matlab 和 Python 接口缺点:

不灵活。在 Caffe 中,每个节点被当做一个层,因此如果你想要一种新的层类型,你需要定义完整的前向、后向和梯度更新过程。这些层是网络的构建模块,你需要在无穷无尽的列表中进行选择。(相反,在 TensorFlow 中,每个节点被当做一个张量运算例如矩阵相加、相乘或卷积。你可以轻易地定义一个层作为这些运算的组合。因此 TensorFlow 的构建模块更小巧,允许更灵活的模块化。)需要大量的非必要冗长代码。如果你希望同时支持 CPU 和 GPU,你需要为每一个实现额外的函数。你还需要使用普通的文本编辑器来定义你的模型。真令人头疼!几乎每个人都希望程序化地定义模型,因为这有利于不同组件之间的模块化。有趣的是,Caffe 的主要架构师现在在 TensorFlow 团队工作。专一性。仅定位在计算机视觉(但做得很不错)。不是以 Python 编写!如果你希望引入新的变动,你需要在 C++和 CUDA 上编程(对于更小的变动,你可以使用它的 Python 和 Matlab 接口)。糟糕的文档。安装比较困难!有大量的依赖包。只有少量种类的输入格式,仅有一种输出格式 HDF5(虽然你总是可以使用它的 Python/C++/Matlab 接口来运行,并从中得到输出数据)。不适用于构建循环网络。2. Theano:由蒙特利尔大学研究团队构建。Theano 的顶层构建了数值开源深度库,包括 Keras、Lasagne 和 Blocks。Yoshua Bengio 在 2017 年 9 月 28 日宣布,Theano 的开发将终止。因此实际上 Theano 已死!

优点:

计算图的抽象很漂亮(可媲美 TensorFlow)为 CPU 和 GPU 都做了优化很好地适应数值优化任务高级封装(Keras、Lasagne)缺点:

原始的 Theano 只有比较低级的 APIimport numpy for _ in range(T): h = torch.matmul(W, h) + b大型模型可能需要很长的编译时间不支持多 GPU错误信息可能没有帮助(有时候令人懊恼)3. Pytorch:2017 年 1 月,Facebook 将 Python 版本的 Torch 库(用 Lua 编写)开源。

优点:

提供动态计算图(意味着图是在运行时生成的),允许你处理可变长度的输入和输出,例如,在使用 RNN 时非常有用。另一个例子是,在 PyTorch 中,可以使用标准 Python 语法编写 for 循环语句。大量预训练模型大量易于组合的模块化组件易于编写自己的图层类型,易于在 GPU 上运行「Tensorboard」缺少一些关键功能时,「Losswise」可以作为 Pytorch 的替代品缺点:

正式文档以外的参考资料/资源有限无商业支持4. Tensorflow:由较低级别的符号计算库(如 Theano)与较高级别的网络规范库(如 Blocks 和 Lasagne)组合而成。

优点:

由谷歌开发、维护,因此可以保障支持、开发的持续性。巨大、活跃的社区网络训练的低级、高级接口「Tensorboard」是一款强大的可视化套件,旨在跟踪网络拓扑和性能,使调试更加简单。用 Python 编写(尽管某些对性能有重要影响的部分是用 C++实现的),这是一种颇具可读性的开发语言支持多 GPU。因此可以在不同的计算机上自由运行代码,而不必停止或重新启动程序比基于 Theano 的选项更快的模型编译编译时间比 Theano 短TensorFlow 不仅支持深度学习,还有支持强化学习和其他算法的工具。缺点:

计算图是纯 Python 的,因此速度较慢图构造是静态的,意味着图必须先被「编译」再运行5. Keras:Keras 是一个更高级、对用户最友好的 API,具有可配置的后端,由 Google Brain 团队成员 Francis Chollet 编写和维护。

优点:

提供高级 API 来构建深度学习模型,使其易于阅读和使用编写规范的文档大型、活跃的社区位于其他深度学习库(如 Theano 和 Tensorflow,可配置)之上使用面向对象的设计,因此所有内容都被视为对象(如网络层、参数、优化器等)。所有模型参数都可以作为对象属性进行访问。例如:

model.layers[3].output 将提供模型的第三层model.layers[3].weights 是符号权重张量的列表缺点:

由于用途非常普遍,所以在性能方面比较欠缺与 Tensorflow 后端配合使用时会出现性能问题(因为并未针对其进行优化),但与 Theano 后端配合使用时效果良好不像 Tensorflow 或 PyTorch 那样灵活TensorFlow 基础TensorFlow 是一种采用数据流图(data flow graphs),用于数值计算的开源软件库。其中 Tensor 代表传递的数据为张量(多维数组),Flow 代表使用计算图进行运算。数据流图用「结点」(nodes)和「边」(edges)组成的有向图来描述数学运算。「结点」一般用来表示施加的数学操作,但也可以表示数据输入的起点和输出的终点,或者是读取/写入持久变量(persistent variable)的终点。边表示结点之间的输入/输出关系。这些数据边可以传送维度可动态调整的多维数据数组,即张量(tensor)。

计算图与会话学习 Tensorflow 的第一步是了解它的主要特色——「计算图」方法。基本上所有的 Tensorflow 代码都包含两个重要部分:

1. 创建「计算图」,表示计算的数据流

2. 运行「会话」,执行图中的运算

事实上,TensorFlow 将计算的定义与其执行分开。这两个部分将在以下各节中详细说明。在此之前,请记住第一步是导入 Tensorflolibrary!

import tensorflow as tf这样,Python 就可以访问 TensorFlow 的所有类、方法和符号。使用此命令,TensorFlow 库将在别名「tf」下导入,以便以后我们可以使用它而不必每次键入其全称「TensorFlow」。

谷歌发布NSL:tensorflow图形数据机器学习框架

谷歌今日推出了名叫 NSL 的神经结构学习框架,作为一个开源架构,其旨在使用神经图的学习方法,对带有图形和结构化数据的神经网络展开训练。据悉,NSL 能够与 TensorFlow 机器学习平台配合使用,适用于有经验或缺乏经验的机器学习从业者。NSL 能够制作计算机视觉模型、执行自然语言处理(NLP)、从医疗记录或知识图等图形数据集中运行预测。

(图自:Google,via VentureBeat)

TensorFlow 工程师在今日的一篇博客文章中表示:“在训练期间使用结构化信号,能够让开发者获得更高的模型精度,尤其是数据量相对较小的时候”。

此外,结构化信号训练可带来更强大的模型,这些技术已被 Google 广泛应用,以提升模型性能,如学习图像语义嵌入(Image Semantic Embedding)。

神经结构学习框架(NSL)可以监督、半监督、或无监督地学习,对训练期间的图形信号进行正规化的建模。在某些情况下,开发者甚至用不到五行以上的代码。

值得一提的是,新框架还可帮助开发者构建数据和 API 工具,用于创建具有少量代码的对抗性训练示例。

今年 4 月的时候,Google Cloud 在 BigQuery 连接表(connected sheets)和AutoML Tables中的结构化数据,引入了其它的解决方案。

最后,上周 Google AI(前 Google Research)宣布了开源 SM3 。作为一款大型语义理解模型的优化器,它能够为 Google BERT 和 OpenAI 的 GPT2 等带来优化。

谷歌发布了语言处理框架syntaxnet升级版,识别率提高了25%

选自research.google

作者: David Weiss等

机器之心编译

参与:李泽南、晏奇


此项升级进一步扩展了 TensorFlow的功能,使这一框架可以进行多层次语言结构的联合建模,而且,它也让 TensorFlow 允许在一个句子或文档处理的过程中动态创建神经网络架构。

谷歌一直致力于改善文字内容的可读性,并已开发了多种工具供人们使用,从生成电子邮件回复到机器翻译,不一而足。去年夏天,谷歌开源了 SynataxNet,一个用于分析和理解语法结构的神经网络框架。它被应用在 TensorFlow 深度学习自然语言处理模型 Parsey McParseface 中——该模型是目前用于分析英语性能最佳的模型。很快谷歌又发布了作为 Parsey 扩展的另外 40 个语言的预训练模型(Parseys Cousins)。谷歌希望通过构建这些系统帮助整个社区,并消除语言隔阂。昨天,谷歌又开源了一些新模型。


SyntaxNet 升级

谷歌发布了 SyntaxNet 的一项重大升级内容。该公司宣称此项升级结合了其在多语种语言理解问题上几乎一年的研究成果,这项成果现已开放给任何感兴趣来搭建文本处理与理解系统的人。升级的核心是一项可以使得对输入语句的丰富变体进行学习成为可能的新技术。具体而言,此项升级扩展了 TensorFlow,使 TensorFlow 可以允许多层次语言结构的联合建模,而且,它也让 TensorFlow 允许在一个句子或文档处理的过程中动态创建神经网络架构。

例如,本次升级使得建立学习用各种字符组成单词的基于字符的模型变得更简单了(比如:把『c-a-t』 组合成 『cat』)。通过执行该过程,模型可以学习相互之间有关联的词,因为它们共享同样的部分(比如:『cats』 是 『cat』 的复数形式,它们共享了一个词干;『wildcat』是 『cat』 的一种)。同样的,Parsey 和 Parseys Cousins 是成系列结构的词汇。所以结果是,模型在训练中被强迫去记住它看见过的单词,并且主要基于语境来决定之前未见过单词的语法功能。

举个例子,看看下面这个句子(语法正确但无意义):

这句话最初是由 Andrew Ingraham 创造的,他曾解释道:「你不知道它在说什么,我也不知道。但我们假设它是英语,我们知道『doshes』被『gostak』给『distimmed』了,我们也知道一个『distimmer』的『doshes』是个『gostak』。」构词学和语法学中的系统模式允许我们猜测每个单词的语法功能——即使这些单词完全不知所云:我们知道『doshes』是『dosh』的复数(就像前面的『cats』一样),而『distim』是 distim 的第三人称单数形式。基于这种分析我们可以得出句子的整个结构,即使我们从未见过这些单词。


ParseySaurus

为了展示升级版 SyntaxNet 提供的新功能,谷歌发布了一套名为 ParseySaurus 的预训练模型。些模型使用上述基于字符的输入表示法,因此可以更好地根据它们的拼写以及上下文内容来预测新单词的含义。ParseySaurus 模型远比 Parseys Cousins 准确得多(减少了 25% 的错误),特别是对于构词复杂的语言如俄语;或黏着语,如日语、韩语和土耳其语。在这些语言中,每个单词可能存在几十种变体,并且在模型训练期间可能永远不会出现这些形式中的大多数——即使是在非常大的语料库中。

例如以下虚构俄语单句,和前面的例子一样,整句仍无意义,但单词的后缀让句子结构有了明确的解释:

即使谷歌的俄语 ParseySaurus 模型从来没有看到过这些单词,它仍可以通过检查构成每个单词的字符序列正确地分析句子。而且在分析时,系统可以解析出单词的多种属性(注意:这里比英语示例中多了一些形态特征)。以下是一个 ParseySaurus 模型分析单句的可视化分析图:

每个正方形代表神经网络中的一个节点,连线代表他们的连接。图左侧的「尾部」显示了将输入作为一个长字符串的模型,他们被间歇地传递到右侧,其中丰富的连接网络显示了将词组成短语并产生句法解析的模型。

Google开源NSL:tensorflow图形数据机器学习框架

智东西(公众号:zhidxcom)编 | 李水青

导语:NSL开源框架能提高模型精度并简化编程工作。

智东西9月4日消息,谷歌今天新推出了其神经结构化学习(NSL)开源框架,能用于通过图形和结构化的数据训练神经网络。

不论经验深浅,机器学习从业者都可以将NSL与TensorFlow机器学习平台配合使用。NSL可以制作计算机视觉模型、执行自然语言处理(NLP)、以及利用医疗记录或知识图等图形数据集运行预测。

TensorFlow是谷歌开源的用于数值计算的开源软件库,用于机器学习和深度神经网络方面的研究。TensorFlow可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算。

一、应对数据匮乏,提高模型精度

TensorFlow工程师今天在博客中说:“在模型训练期间,通过NSL的结构化信号,开发人员能够获得更高的模型精度。特别是在标注数据量相对较小时,它的作用就更大了。”

“同时,结构化信号训练也可以带来更强大的模型,这些技术已被谷歌广泛应用于提高模型性能,如学习图像语义嵌入(Image Semantic Embedding)。”

二、简化编程工作,五行代码可完成建模

NSL可以通过监督、半监督或无监督学习对训练期间的图形信号进行正规化的建模。在某些情况下,五行代码就能完全搞定。

另外,新框架还可以帮助开发人员处理数据和API(应用程序编程接口)的工具,使他们在项目中使用更少的代码完成对抗训练。

今年4月,谷歌云为结构化数据引入了其他解决方案,如BigQuery连接表和AutoML Tables。另外,上周谷歌AI开源了SM3,这是一个针对BERT等大型语言理解模型的优化工具。

文章来源:VentureBeat

游戏AI必须有一个新的框架。谷歌发布了基于tensorflow的“多巴胺”开源框架

郭一璞 发自 凹非寺

量子位 报道 | 公众号 QbitAI

上周那个在DOTA2 TI8赛场上“装逼失败”的OpenAI Five,背后是强化学习的助推。

其实不仅仅是OpenAI Five,下围棋的AlphaGo和AlphaGo Zero、玩雅达利街机游戏的DeepMind DQN(deep Q-network),都离不开强化学习(Reinforcement Learning)。

现在,谷歌发布了一个基于TensorFlow的强化学习开源框架,名叫Dopamine

另外,还有一组Dopamine的教学colab。

和它的名字Dopamine(多巴胺)一样,新框架听上去就令人激动。

清晰,简洁,易用

新框架在设计时就秉承着清晰简洁的理念,所以代码相对紧凑,大约是15个Python文件,基于Arcade Learning Environment (ALE)基准,整合了DQN、C51、 Rainbow agent精简版和ICML 2018上的Implicit Quantile Networks。

可再现

新框架中代码被完整的测试覆盖,可作为补充文档的形式,也可以用ALE来评估。

基准测试

为了让研究人员能快速比较自己的想法和已有的方法,该框架提供了DQN、C51、 Rainbow agent精简版和Implicit Quantile Networks的玩ALE基准下的那60个雅达利游戏的完整训练数据,以Python pickle文件和JSON数据文件的格式存储,并且放到了一个可视化网页中。

另外,新框架中还有训练好的深度网络、原始统计日志,以及TensorBoard标注好的TensorFlow事件文件。

传送门

开源框架资源

Dopamine谷歌博客:

https://ai.googleblog.com/2018/08/introducing-new-framework-for-flexible.html

Dopamine github下载:

https://github.com/google/dopamine/tree/master/docs#downloads

colabs:

https://github.com/google/dopamine/blob/master/dopamine/colab/README.md

游戏训练可视化网页:

https://google.github.io/dopamine/baselines/plots.html

相关资料

ALE基准:

https://arxiv.org/abs/1207.4708

DQN(DeepMind):

https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf

C51(ICML 2017):

https://arxiv.org/abs/1707.06887

Rainbow:

https://arxiv.org/abs/1710.02298

Implicit Quantile Networks(ICML 2018):

https://arxiv.org/abs/1806.06923

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态