Meta FAIR випустила алгоритм кластеризації e-means для FAISS 1.16.0
Дослідники Meta FAIR представили e-means — мініпакетну заміну алгоритму k-means Ллойда. Метод доступний у FAISS 1.16.0 через faiss.contrib.e_means і працює на CPU або GPU з тензорами PyTorch та масивами NumPy. Його призначено для кластеризації під час створення векторних індексів, квантизаторів і конвеєрів відбору даних.
E-means оновлює суму та кількість елементів кожного кластера за допомогою експоненційних ковзних середніх, а не щоразу перераховує статистику всього набору. Через це вплив старих призначень поступово зменшується. Розмір пакета й початковий крок визначаються масштабними законами, що враховують розмір набору, кількість кластерів і заплановану кількість епох. Далі крок змінюється за косинусним розкладом. Автори також додали відновлення малих кластерів через поділ великого кластера.
У тестах авторів e-means досягав значення втрат, отриманого Lloyd за 25 епох, за 1,4–2,6 епохи у 24 конфігураціях. Заявлене прискорення становило 10–45 разів на GPU проти Flash-KMeans і 8–15 разів на CPU проти Faiss k-means. Перевірки охопили від 100K до 10 мільярдів точок і до 16.7M кластерів. Для 16M центроїдів потрібні 64 GiB акумуляторів float32 і розподіл центроїдів між GPU.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.