Meta FAIR выпустила алгоритм кластеризации e-means для FAISS 1.16.0
Исследователи Meta FAIR представили e-means — мини-пакетную замену алгоритму k-means Ллойда. Метод вошёл в FAISS 1.16.0 и вызывается через faiss.contrib.e_means. Он работает на CPU и GPU, принимая тензоры PyTorch или массивы NumPy. Разработка предназначена для кластеризации в системах векторных индексов, квантователях и конвейерах отбора данных.
Вместо пересчёта статистики по всему набору на каждой итерации e-means обновляет сумму и количество объектов для каждого кластера с помощью экспоненциального скользящего среднего. Поэтому влияние старых назначений постепенно уменьшается. Размер мини-пакета и начальный шаг задаются масштабными законами, учитывающими объём набора, число кластеров и число эпох. Затем шаг меняется по косинусному расписанию; дополнительная настройка параметров, по данным авторов, не требуется. Малые кластеры можно восстанавливать разделением крупного кластера.
В представленных авторами испытаниях алгоритм достигал потерь 25-эпохового запуска Ллойда за 1,4–2,6 эпохи в 24 конфигурациях. Заявленное ускорение составило 10–45 раз на GPU относительно Flash-KMeans и 8–15 раз на CPU относительно Faiss k-means. Проверялись наборы от 100K до 10 миллиардов точек и до 16.7M кластеров. Для 16M центроидов требуется 64 GiB аккумуляторов float32 и распределение центроидов между GPU.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.