Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

Meta FAIR выпустила алгоритм кластеризации e-means для FAISS 1.16.0

Исследователи Meta FAIR представили e-means — мини-пакетную замену алгоритму k-means Ллойда. Метод вошёл в FAISS 1.16.0 и вызывается через faiss.contrib.e_means. Он работает на CPU и GPU, принимая тензоры PyTorch или массивы NumPy. Разработка предназначена для кластеризации в системах векторных индексов, квантователях и конвейерах отбора данных.

Вместо пересчёта статистики по всему набору на каждой итерации e-means обновляет сумму и количество объектов для каждого кластера с помощью экспоненциального скользящего среднего. Поэтому влияние старых назначений постепенно уменьшается. Размер мини-пакета и начальный шаг задаются масштабными законами, учитывающими объём набора, число кластеров и число эпох. Затем шаг меняется по косинусному расписанию; дополнительная настройка параметров, по данным авторов, не требуется. Малые кластеры можно восстанавливать разделением крупного кластера.

В представленных авторами испытаниях алгоритм достигал потерь 25-эпохового запуска Ллойда за 1,4–2,6 эпохи в 24 конфигурациях. Заявленное ускорение составило 10–45 раз на GPU относительно Flash-KMeans и 8–15 раз на CPU относительно Faiss k-means. Проверялись наборы от 100K до 10 миллиардов точек и до 16.7M кластеров. Для 16M центроидов требуется 64 GiB аккумуляторов float32 и распределение центроидов между GPU.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости