Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← До новин

Meta FAIR випустила алгоритм кластеризації e-means для FAISS 1.16.0

Дослідники Meta FAIR представили e-means — мініпакетну заміну алгоритму k-means Ллойда. Метод доступний у FAISS 1.16.0 через faiss.contrib.e_means і працює на CPU або GPU з тензорами PyTorch та масивами NumPy. Його призначено для кластеризації під час створення векторних індексів, квантизаторів і конвеєрів відбору даних.

E-means оновлює суму та кількість елементів кожного кластера за допомогою експоненційних ковзних середніх, а не щоразу перераховує статистику всього набору. Через це вплив старих призначень поступово зменшується. Розмір пакета й початковий крок визначаються масштабними законами, що враховують розмір набору, кількість кластерів і заплановану кількість епох. Далі крок змінюється за косинусним розкладом. Автори також додали відновлення малих кластерів через поділ великого кластера.

У тестах авторів e-means досягав значення втрат, отриманого Lloyd за 25 епох, за 1,4–2,6 епохи у 24 конфігураціях. Заявлене прискорення становило 10–45 разів на GPU проти Flash-KMeans і 8–15 разів на CPU проти Faiss k-means. Перевірки охопили від 100K до 10 мільярдів точок і до 16.7M кластерів. Для 16M центроїдів потрібні 64 GiB акумуляторів float32 і розподіл центроїдів між GPU.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини