Relation-Guided Representation Learning
Текст: https://www.sciencedirect.com/science/article/abs/pii/S0893608020302550
Код: https://github.com/nbShawnLu/RGRL
Автоэнкодеры часто используют для уменьшения размерности данных. При уменьшении размерности хочется, чтобы похожие образцы отображались в близкие точки, а не похожие — в далекие. Однако стандартные процедуры обучения энкодеров этого в явном виде не гарантируют. Здесь авторы предлагают простую модификацию, которая заставляет автоэнкодер учитывать расстояния между образцами.
Функция похожести — одна и та же для образцов и их низкоразмерных представлений (эмбеддингов), — обучается одновременно с весами всей остальной сетки. При этом на выходе из декодера требуется восстановить уже не просто что-то похожее на входной образец, а еще и похожее одновременно на другие близкие ему образцы. По идее это требование должно делать эмбеддинги более гладкими.
Авторы применяют свой подход к нескольким простым картиночным датасетам, состоящим из кластеров: так, например, в MNIST один кластер составляют картинки с одной и той же цифрой. Оказывается, что функции похожести, выученные в процессе такого обучения, позволяют очень хорошо кластеризовать картинки, даже используя сетки с тремя сверточными слоями.
Текст: https://www.sciencedirect.com/science/article/abs/pii/S0893608020302550
Код: https://github.com/nbShawnLu/RGRL
Автоэнкодеры часто используют для уменьшения размерности данных. При уменьшении размерности хочется, чтобы похожие образцы отображались в близкие точки, а не похожие — в далекие. Однако стандартные процедуры обучения энкодеров этого в явном виде не гарантируют. Здесь авторы предлагают простую модификацию, которая заставляет автоэнкодер учитывать расстояния между образцами.
Функция похожести — одна и та же для образцов и их низкоразмерных представлений (эмбеддингов), — обучается одновременно с весами всей остальной сетки. При этом на выходе из декодера требуется восстановить уже не просто что-то похожее на входной образец, а еще и похожее одновременно на другие близкие ему образцы. По идее это требование должно делать эмбеддинги более гладкими.
Авторы применяют свой подход к нескольким простым картиночным датасетам, состоящим из кластеров: так, например, в MNIST один кластер составляют картинки с одной и той же цифрой. Оказывается, что функции похожести, выученные в процессе такого обучения, позволяют очень хорошо кластеризовать картинки, даже используя сетки с тремя сверточными слоями.