こんにちは、futabatoです。
今回は、Dimensionality Reduction by Learning an Invariant Mapping ( Hadsell, Raia, Sumit Chopra, and Yann LeCun. , 2006 )の論文に目を通したので、論文メモとしてBlogに残しておきます。
Dimensionality Reduction by Learning an Invariant Mapping
論文の概要
- 著者: Hadsell, Raia, Sumit Chopra, and Yann LeCun.
- 年度: 2006
- 論文URL: https://ieeexplore.ieee.org/abstract/document/1640964
- 被引用数: 1156
- タグ:
Loss
本論文は次元削減手法として提案していますが、metric learningの基本となったContrastive Lossを提案しています。
Dimensionality Reduction by Learning an Invariant Mapping
Abstract
Dimensionality reduction involves mapping a set of high dimensional input points onto a low dimensional manifold so that 'similar" points in input space are mapped to nearby points on the manifold. We present a method called Dimensionality Reduction by Learning an Invariant Mapping (DrLIM) for learning a globally coherent nonlinear function that maps the data evenly to the output manifold. The learning relies solely on neighborhood relationships and does not require any distancemeasure in the input space. The method can learn mappings that are invariant to certain transformations of the inputs, as is demonstrated with a number of experiments. Comparisons are made to other techniques, in particular LLE.
既存研究と比べてどこがすごい？
学習データに含まれていない未知の点を安定して写像することができる関数を学習できる。
技術や手法のキモはどこ？
意味的な類似性を学習するために、正のペアは0に違づくように、負のペアはmに近づくように学習する。
どうやって有効だと検証した？
議論はある？
- ペアが正であるか負であるかのコンテキスト情報とペアリング作業が必要になる。
- 正のペアは0, 負のペアはmになるように最適化が進められるが、正のペアが負のペアより相対的に近ければよいはず。
次に読むべき論文は？
triplet loss
最後までご覧いただきありがとうございました。
