谷歌推出了一个新的开源框架:添加5行代码,带来更强大的神经网络模型

根据科技网站 Venturebeat 的报道,Google 今天推出了神经结构化学习(Neural Structured Learning,以下简称 NSL)。据悉,这是一个开源框架,它使用神经图它使用神经图学习方法,来训练带有图(Graph)和结构化数据的神经网络,带来强大的模型。

NSL 与 TensorFlow 机器学习平台需要配合使用,新手和高级开发人员都可以使用它来训练具有结构化信号的神经网络,适用于机器学习技术的入门开发者和有一些经验的从业者。NSL 可以为计算机视觉制作模型,执行其框架,使开发人员能够使用图表训练神经网络。图表可以来自多个来源,例如知识图、医疗记录、基因组数据或多模式关系(例如,图像-文本)。NSL 还可以运用到对抗性学习算法中。而在医疗领域中,NSL 可以从医疗记录或知识图等图形数据集运行预测。

简单来说,TensorFlow 中的 NSL 框架为开发人员提供了以下易于使用的 API 和工具,用于训练具有结构化信号的模型:

  • Keras API 支持使用图形(显式结构)和对抗性扰动(隐式结构)进行训练。
  • TF 操作和功能,以便在使用较低级别的 TensorFlow API 时启用结构培训
  • 用于构建图形和构建用于培训的图形输入的工具

“在培训期间利用结构化信号可以让开发人员获得更高的模型精度,特别是当标记数据量相对较小时。” TensorFlow 工程师 Da-Cheng Juan 和 Sujith Ravi 在博客中表示,“结构化信号训练也可以带来更强大的模型。这些技术已广泛用于 Google 产品,以提高模型性能,例如 Graph-Regularized Image Semantic Embedding(Graph-RISE)图形规范化图像语义嵌入技术等。”

关于 NSL 是如何工作的,TensorFlow 工程师进行了详细的解释。在 NSL 中,利用结构化信号,无论是明确定义为图形还是隐式学习为对抗性实例,只要可以让开发者获得更高的模型精度,而在用于规范神经网络的训练上受益即可。在执行上,下图中进行了很好的解释,通过示例功能中的选取,转化成结构化信号,用于规范神经网络的训练,进行准确的模型学习预测,与此同时,NSL 也会保持来自同一结构的输入之间的相似性。该技术是通用的,可以应用于任意神经架构,例如前馈 NN,卷积 NN 和循环 NN 中。

使用 NSL,利用结构化信号来构建模型变得简单而直接。给定图形(作为显式结构)和训练样本,NSL 提供了一个工具来处理这些,以下是相关的代码示例截图:

然而,如果显式结构(例如图形)不可用或未作为输入给出,该怎么办?所以,NSL 为开发人员提供了从原始数据构建图形的工具;或 NSL 提供 API 以“诱导”对抗性示例作为隐式结构化信号。构造对抗样本示例,以此作为隐形信号。

NSL 可以通过监督、半监督或无监督学习,来训练使用图形信号进行正规化的模型,在某些情况下,使用少于五行代码,就可以获得了一个神经模型。

新框架还包括帮助开发人员构建数据和 API 的工具,用于创建具有少量代码的对抗性训练示例。

今年 4 月,Google Cloud(谷歌云)在 BigQuery 和 AutoML Tables 中为结构化数据引入了其他解决方案。而在上周,谷歌人工智能团队,也就是 Google Research 团队,发布了开源的 SM3,一个用于优化大规模语言理解模型,如 Google 的 BERT 和 OpenAI 的 GPT2。

关于这项技术的详细内容,已经发表在 Google TensorFlow 官网,感兴趣的开发者可以关注下面的链接看看。

不仅是辍学,至少30种机器学习技术刚刚成为谷歌的专利

乾明 郭一璞 发自 凹非寺

量子位 报道 | 公众号 QbitAI

“2030年之前,你需要给谷歌交专利费,才能构建简单的神经网络。”

这不是一句调侃,而是在慢慢成为现实。

前不久,Dropout专利生效引发了一波震动。然而深挖之后,我们发现,谷歌这几年偷偷申请的专利,何止一个Dropout。

又有,一大批机器学习专利,今 日 生 效。

包括“使用深度神经网络处理图像”、“用于强化学习的方法与装置”、“为图像分类生成训练样本的系统与方法”、“用于解决神经网络中的过拟合的系统和方法”等数十项,持续十几年。

由于在近日通过的相关专利实在太多,我们没有列全结果,仅仅是5000多搜索结果中的前7页,就有这么多刚刚被谷歌拿下的专利。

是的,你没有看错。这些机器学习过程中会用到的基础方法、AI界的共享资源、炼丹师们的好朋友,都成了谷歌的专利。

谷歌的“野心”并不仅限于此。

我们深挖后发现,谷歌还有数十个相关专利正在申请流程之中。强化学习系统、循环神经网络尽在其中。

都是些什么专利?

浏览上述专利的内容,可以发现,专利描述的内容也确实配得上那些宏大的名字,应用范围并没有限制在一个很小的应用程序之中。

这些生效的权利范围,通常包含“方法、系统”,被用来解决某一类机器学习问题,而不是一个。

比如,”使用深度神经网络处理图像“专利,指的就是“使用深度神经网络处理图像的方法、系统、设备,包括编码在计算机存储介质上的程序”。

方法包括接收输入图像的表征数据,使用深度神经网络处理描述输入图像的数据来产生输入图像的替代表征。

而且对深度神经网络也进行了宽泛的定义”深度神经网络包括多个子网络,所述子网络按照从低到高的顺序排列“等等。

再比如,”用于强化学习的方法与装置“专利,指的是一种用于具有多个状态和从一个状态移动到下一个状态的动作的主体系统的强化学习方法。

“为图像分类生成训练样本的系统与方法“专利,指的是用于生成训练图像的系统和方法,可以用于增加训练神经网络的训练集的大小。

从对这些专利的介绍来看,它们所涵盖的内容,虽然没有将整个机器学习纳入囊中,但也涉及到了数据处理、模型训练等等,真的太基础太广泛了。

更让人感觉到压力的是,谷歌申请的机器学习/人工智能专利,并不仅仅只有这些。

谷歌构建专利帝国

在2013年前后,谷歌还申请了其他大量关于机器学习技术申请专利,也在7月8日出现了状态更新,已经划分给谷歌,处于“Pending”,也就是待定状态。

我们找到了一部分pending的专利(非全部):

目前这些都只是US开头的美国专利,除了美国专利之外,还有不少谷歌在欧盟、日本等多国申请的机器学习专利,也于近日获得了批准。而在我国申请的专利相对较少,多数处于公示状态。

而且, 并不只是谷歌本身展开了行动,它旗下的DeepMind,此前也申请了一大批AI专利,看名字都非常吓人,强化学习系统、循环神经网络尽在其中,列表如下:

其中,”用神经网络生成音频“专利已经在美国生效,2037年9月6日到期。”用卷积神经网络处理序列“、”用神经网络处理文本序列“专利也都处于“Pending“状态。

在谷歌以及DeepMind申请专利构建帝国的同时,整个AI圈也出现了大量反对与愤怒的声音。

专利惹“麻烦”

将研究成果申请为专利,总会造成麻烦与不满。

在1996年AT&T拆分时,CNN专利就被分到了新组建的NCR公司,当时留在原公司AT&T的Yann LeCun却无法进行相关研究:“当时NCR手握卷积神经网络的专利,却没人知道卷积神经网络到底是什么。”

更大的影响,则是在创业公司身上。

名为syllogism的Reddit网友评论称,基于机器学习的创业公司,都必须面临以下的麻烦:

除了融资会受到影响,业务开展也会步履维艰。如果你向一家大企业销售产品,软件侵犯了谷歌专利,他们会让你承担相关责任,购买责任保险。

但侵犯了谷歌专利之后,没有保险公司会愿意接受你作为客户。

也有可能会出现这样一种状况:仅仅是对你的技术进行尽职调查,需要交纳的专利费就超过交易本身的价值。

最后,他也奉劝在谷歌工作和即将加入谷歌的研究员三思而后行。人们一直认为,在谷歌做研究和学术圈没有什么区别。现在看来,真的不同了。

网友fhuszar也进一步深化了对创业公司的影响:

在创业公司成立之初,公司价值的很大一部分,是它们的知识产权。如果大公司在这个领域建立了一个”专利雷区“,它们的估值就会受到很大影响,而且与潜在收购者(比如谷歌)谈判的时候,也不会有太大的话语权。

有不少人认为,将算法申请专利是一件没道理的行为。

和Dropout一样,这让大家很生气、很烦躁。

你不能给一个算法申请专利,你只能给把算法部署到机器的过程申请专利。

谷歌试图用0016-0023这样的字眼绕过去,但如果发生诉讼,法庭不太可能坚持这种专利。看看其他的软件专利,你会清晰地发现这些专利都包含出于某种工业目的将算法部署到计算机的过程,但这些专利显然没有这个过程。

如果专利律师能提出一个没有具体使用场景的算法专利被法庭支持的例子,那我很开心看到。否则的话,这些都是废话。

不少人都吐槽,这样以后许多研究都没法做了:

写于2030年的论文:分类方法是Bogosort,因为我校没钱用谷歌的quicksort或者亚马逊的bucketsort。

还有人觉得,谷歌是在预防性申请:

我猜如果这些专利申请不下来谷歌也不会太沮丧。只有一种情况对谷歌来说非常糟糕,那就是这些技术的确可以申请为专利,但被专利流氓们先申请了。

是的,“给井里下毒”是一种搞专利的大事,一旦专利被拒,那将被视为现有技术,任何人都不会取得它的专利权。

也有Reddit网友DanielleMolloy说,我们应该考虑一下这些可能是防御性专利,实际上是用来从专利流氓手里保护研究成果的,即使不是谷歌的研究者也同样受益。

另外,由于这些专利都是在美国获准的,因此,那些被美国列入“实体清单”的企业,在美国政府不批准的情况下都无法获取这些技术。

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态