Google Research представя ME-POIs: рамка, информирана от мобилността, която добавя „Как се използва дадено място“ към базирани на текст вграждания на POI

Екип от Google Research и USC представи Mobility-Embedded POIs (ME-POIs) — рамка, която вгражда обобщеното човешко движение в текстови представяния на места. Идеята е, че езиковите модели описват какво представлява дадено място, но не и как се използва. Две кафенета могат да споделят една и съща категория, адресен блок и текстов вектор, докато едното обслужва непрекъснат поток от пътуващи, а другото задържа клиентите за деветдесет минути. ME-POIs кодира всяко посещение като контекстуализиран вектор, след което използва контрастивно обучение, за да съгласува тези посещения с един обучаем прототип за всяка POI. В пет задачи за обогатяване на карти, използващи данни за мобилността от Лос Анджелис и Хюстън, добавянето на ME-POIs към силни текстови енкодери подобрява 34 от 35 двойки модел–задача в Лос Анджелис, с относителни подобрения до 81,9% F1 при намерението за посещение и 24,7% намаление на MAE при натовареността. Забележително е, че вариант, обучен само върху данни за мобилността, превъзхожда вгражданията на Gemini при класификацията на ценовото ниво.

Може ли да бъде внедрена?

Частично — това е рамка, която трябва да изградите наново, а не готов контролен пункт, който да изтеглите. Към момента на публикуването Google Research е публикувала статията, но няма публичен код или тегла. Изчислителните изисквания са ниски: моделът е с около 53,7 млн. параметъра и е предварително обучен на един NVIDIA Tesla V100 с 16 GB. Истинската пречка са данните — необходими са лицензирани данни за пешеходния трафик или регистрационни файлове за посещения от първа страна, както и полигони на POI.

Как работи рамката

Всяко посещение представлява тройка: координати, час на пристигане и час на отпътуване. Три факторизирани енкодера обработват тези елементи: Space2Vec за местоположение в различни мащаби и два енкодера Time2Vec — поотделно за пристигане и отпътуване, така че началният час и продължителността на престоя да останат различими. Конкатенираните вектори получават синусоидално позиционно кодиране и преминават през 4-слоен Transformer с 8 глави (d_h = 512), за да се получат контекстуализирани вграждания на посещенията.

Основната цел е контрастивна. Всяка POI има обучаем прототип, а загубата InfoNCE приближава вграждането на всяко посещение към прототипа на собствената му POI, като едновременно го отдалечава от останалите POI в минипакета. Прототипът се превръща във функционален центроид, който усреднява индивидуалните графици на потребителите.

Разредеността е трудната част. Само 9,07% от POI в Лос Анджелис и 7,04% от POI в Хюстън преминават прага за котва (съответно общо 100 и 50 посещения). За дългата опашка ME-POIs изчислява нормализирани гаусови ядра при три ширини — 0,3 км, 1,0 км и 3,0 км — и прехвърля хистограмите на посещенията от котвите към разредените POI, след което добавя KL член, който принуждава разреденото вграждане да предсказва този априор. Втори KL член обучава котвите спрямо собствените им емпирични разпределения. Четвърта загуба максимизира косинусното сходство с проектирани текстови вграждания, чиито подсказки следват рецептата на GeoLLM: координати, категория, адрес и десетте най-близки POI с разстояние и посока.

Какво показват числата

Оценката обхваща два анонимизирани набора от данни за мобилността — Лос Анджелис (39 557 POI, 6,9 млн. посещения, цялата 2019 г.) и Хюстън (28 419 POI, 715 604 посещения, 20 дни през март 2020 г.) — в пет задачи за обогатяване на карти с изследване на замразени вграждания. Етикетите са взети от SafeGraph за работното време и затварянията и от Google Maps за намерението за посещение, натовареността и ценовото ниво.

Добавянето на ME-POIs подобрява 34 от 35 двойки модел–задача в Лос Анджелис. Най-големите относителни подобрения са: 16,2% F1 при седмичното работно време (OpenAI-large), 81,9% F1 при намерението за посещение (Gemini), 6,5% F1 при окончателното затваряне (E5) и 24,7% намаление на MAE при натовареността (Gemini). В Хюстън F1 при ценовото ниво нараства със 75,1% за GTR-T5. Единственият регрес е при Gemini за окончателното затваряне — спад от 0,4%.

По-интересният резултат е вариантът, използващ само данни за мобилността. Обучен без никакво съгласуване с текст, той достига точност 0,600 при ценовото ниво в Лос Анджелис спрямо 0,559 за Gemini — колективното поведение превъзхожда думите, използвани за обозначаване на мястото. Той също така превъзхожда всички базови модели, основани на траектории, при всяка задача.

Обяснение: механизмът стъпка по стъпка

Основни изводи

• ME-POIs научава по един контекстно независим вектор за всяка POI, а не вектор, обусловен от траекторията.
• Контрастивното съгласуване и многостепенният KL трансфер решават проблема с дългата опашка: 91% от POI в Лос Анджелис са разредени.
• Подобренията достигат 81,9% F1 при намерението за посещение и 24,7% намаление на MAE при натовареността.
• Вгражданията само от данни за мобилността превъзхождат текстовите вграждания на Gemini при класификацията на ценовото ниво.
• Все още няма публичен код или тегла; истинската пречка са лицензираните данни за посещенията, а не изчислителните ресурси.

---

Вижте статията и техническите подробности. Можете също да посетите нашата GitHub страница с уроци, кодове и бележници.

Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Имате нужда от партньор за популяризирането на вашето GitHub хранилище, страница в Hugging Face, продуктово издание, уебинар и др.? Свържете се с нас