Amazon, някога онлайн книжарница, унищожава редки книги, за да обучава модели с изкуствен интелект

Amazon купува огромни количества редки книги, отрязва гръбчетата им и ги сканира за обучение на изкуствен интелект, според 404 Media, която поставила проследяващо устройство в рядка книга, пристигнала в крайна сметка в обект на Amazon в Лас Вегас.

Обектът, известен като VGT3, се обозначава със символ на динозавър, който държи книга в ноктите си. Amazon заяви пред 404 Media, че „купува книги по търговски канали, за да подобрява продуктите и услугите, които използват клиентите“.

Компании като Amazon се нуждаят от невъобразимо големи количества текст, за да обучават своите LLM, които вече са погълнали каквото могат от интернет (а в случая с Anthropic — незаконно пиратски книги). Редките книги, особено тези, които са изчерпани или е невъзможно да бъдат открити в интернет, предлагат нов източник на търсени обучаващи данни.

Тези текстове са особено ценни, тъй като няма вероятност нещо, публикувано преди 2022 г., да е било написано от LLM. Когато LLM се обучават върху текст, генериран от изкуствен интелект, те рискуват да изпаднат в „колапс на модела“, който може да настъпи, когато качеството на резултатите от LLM се влоши след поглъщането на прекалено много текст, генериран от изкуствен интелект.