An Unsupervised Game-Theoretic Approach to Saliency Detection

这篇论文从一个新颖的博弈论的角度思考unsupervised saliency detection。首先，saliency detection问题被formulate为non-cooperative game，称为Saliency Game，其中图像区域是选择作为其pure strategies的“background”或“foreground”的player。通过利用多个线索并组合互补特征来构造一个payoff函数。根据提出的Saliency Game的Nash equilibrium中的每个区域的策略生成Saliency maps。其次，通过探索color feature和deep feature之间的互补关系，并提出一种iterative random walk算法，结合使用不同特征的Saliency Game产生的saliency maps。iterative random walk允许跨特征空间共享信息并检测很难检测的对象。在六个具有挑战性的数据集上进行的大量实验证明了提出的unsupervised算法与几种最先进的supervised算法相比的优越性。

Ideas

提出了一种新的unsupervised Saliency Game来检测salient objects。采用了两个独立的priors来提高robustness。 game equilibria的性质可确保两个先验unsatisfactory时的准确性。
利用从pre-trained的CNN中提取的semantically-rich的特征，所提出的方法能够识别复杂场景中的salient objects，而如果基于手工特征的传统方法可能失败（Figure 1(c)）。
提出了跨两个特征空间（color feature和deep feature）的Iterative Random Walk算法，该算法利用color feature空间和deep feature空间之间的互补关系来进一步细化结果。

Framework

Saliency Game

1. 首先通过SLIC算法将输入图像分割成$N$个superpixel，其作为Saliency Game中的players;
2. 每个player选择“background”或“foreground”作为其pure strategy，其mixed strategy对应于此superpixel的saliency value;
3. 在展示他们的strategy后，player可以根据自己和其他player的strategy获得一些payoff;

Payoff Function：

本文在提出的Saliency Game的Nash equilibrium中使用每个player的mixed strategy作为输出Saliency maps中该superpixel的saliency value。这种equilibrium对应于稳定状态，其中每个player在剩余player的策略保持固定时发挥最大化其自身payoff的策略，这提供了全局合理的saliency detection结果。

Iterative Random Walk

传统的color features具有高分辨率，因此在color space中生成的saliency maps是详细的并具有清晰的边界。但由于缺乏high-level信息，有时他们无法准确定位目标（Figure 4(c)）。相反，由于deep features很好地编码了对象的high-level概念，因此在deep features空间中生成的saliency映射能够在图像中找到正确的salient objects。但是由于几层convolution和pooling，这些特征太粗糙了。因此生成的saliency maps是不明显的（Figure 4(d)）。