首发：徐亦达教授团队最新发表的两篇机器学习论文

徐亦达团队在 Asian Conference on Machine Learning 的发表了两篇机器学习论文，本人得到徐老师授权在本站发布论文。

• 论文 1：Realistic Image Generation using Region-phrase Attention
• 论文 2：Efficient Diversified Mini-Batch Selection using Variable High-layer Features

论文第一作者：黄皖鸣，徐亦达老师的博士生

徐亦达教授简介：

现任悉尼科技大学教授，UTS 全球数据技术中心机器学习和数据分析实验室主任。主要研究方向是机器学习，数据分析和计算机视觉。他在国际重要期刊与会议发表数篇高影响因子论文；编写了大量的数理统计、概率和机器学习教材。

徐老师的 github：

https://github.com/roboticcam

优酷：

http://i.youku.com/i/UMzIzNDgxNTg5Ng

论文介绍

1. Realistic Image Generation using Region-phrase Attention

论文作者：Wanming Huang, Richard Yi Da Xu, Ian Oppermann

论文链接：

http://proceedings.mlr.press/v101/huang19a/huang19a.pdf

https://arxiv.org/abs/1902.05395v1

论文摘要

使用对象区域和短语间注意力机制的图像生成

在应用了注意力机制后，对抗生成网络已经在从文本合成图像领域取得了显著进展。然而当前的算法仅仅将注意力机制应用于规则网格区域和单个单词之间。这些方法足以生成前景中包含单个物体的图像。然而，自然语言通常描述了复杂的前景物体。在这种情况下，基于规则网格区域的注意力权重不一定会集中在预期的前景区域上，这会造成生成的图像看上去不自然。此外，除非将多个单词，如“a”、“blue”和“shirt”，一起使用，否则单个单词并不能提供完整的图像信息。因此我们在论文中提出，在对象网格区域和短语之间引入一组额外的注意力关系。其中对象网格区域由辅助边界框定义，用于在生成过程中指示短语对齐。

2.Efficient Diversified Mini-Batch Selection using Variable High-layer Features

论文作者：Wanming Huang, Richard Yi Da Xu, Ian Oppermann

论文链接：

http://proceedings.mlr.press/v101/huang19b/huang19b.pdf

论文摘要

使用可变深层特征向量进行高效的迷你批次采样

随机梯度下降（SGD）在训练各种深层神经网络中得到了广泛的应用。这种训练方式不是一次性使用完整的数据集，而是在每次梯度下降迭代期间选择小批量数据进行训练。在不知道真实数据分布的情况下，人们通常使用随机采样来选择每个迷你批次。之前的研究表明使用行列式点过程(DPP)采样来代替随机采样，从而避免具有高度相关的样本出现在同一个迷你批次，可以有效提升训练效率。然而前人的工作使用了固定的特征向量来构建 DPP 采样，这在在深度网络训练中是存在局限性的。在本文中，我们提出使用可训练的高层特征,这些特征会在每次迭代时更新。同时为了避免采样计算量过大的问题，本文在加快 DPP 采样速度方面提出如下改进，包括：

• （1）采取分层抽样方式，将一个具有大格拉姆矩阵的 DPP 采样分解成多个具有较小格拉姆矩阵的 DPP 抽样；
• （2）采用马尔科夫 k-DPP 方法，鼓励不同迷你批次之间的多样性。实验结果表明，与之前的方法相比，我们的算法显著提升了深层神经网络的收敛速度。

在MNIST的效果

总结

论文下载：

• Realistic Image Generation using Region-phrase Attention

  http://proceedings.mlr.press/v101/huang19a/huang19a.pdf

• Efficient Diversified Mini-Batch Selection using Variable High-layer Features

  http://proceedings.mlr.press/v101/huang19b/huang19b.pdf

不多说了，徐亦达老师团队出品，必属精品，建议下载慢慢看。