Добрый вечер. Пытаюсь получить изображения с сайта shutterstock, но при попытке грабинга попадаются записи с одинаковым id. Есть контроллер, который принимает в качестве параметров страницу, количество изображений на страницу и категорию.
Сканирую 21 категорию:
www.shutterstock.com/cat-21-Interiors.html, в которой 4296 страниц и ~429600 изображений, однако в бд заносится порядка 250000 уникальных записей. В чем проблема, не знаю, может быть, она кроется в параметрах src, search_source_id, tracking_id, предназначение которых мне неизвестно. Кто-нибудь сталкивался с похожей практикой? Данные получаю в таком виде:
