Парсинг даних

Парсинг сайтів і збір даних на замовлення

Збираємо відкриті дані із сайтів під задачі вашого бізнесу — разово або за розкладом. Оброблений результат передаємо файлом, через API або завантажуємо у ваші системи: на сайт, у CRM, в облікову систему.

Обговорити задачу Проєкти

Задачі, які розв'язуємо парсингом

Дослідження ринку
Наповнення каталогу товарів
Оновлення цін і наявності
Аналіз маркетплейсів
Моніторинг відгуків і згадок
Пошук тендерів і даних реєстрів
Збір даних криптобірж
Аналіз оголошень і вакансій

2015рік заснування

100+реалізованих проєктів

6 роківсередня тривалість співпраці з клієнтом

≤1 годчас відповіді клієнтам на технічній підтримці в робочий час

150+сайтів, відновлених після зламу

Що таке парсинг сайтів

Парсинг сайтів (вебскрейпінг) — це автоматичний збір відкритих даних зі сторінок сайтів і зведення цих даних до структурованого вигляду: таблиці, файлу або записів у базі даних. Компанії зазвичай використовують парсинг для аналізу ринку, наповнення каталогів і оновлення цін. Збір виконує парсер — програма, яка відкриває потрібні сторінки, знаходить на них відомості й зберігає їх у заданому форматі. Парсинг усуває потребу в ручному копіюванні, а під час збору за розкладом дані залишаються актуальними.

Задачі, які розв'язуємо парсингом

Дослідження ринку

Асортимент, акції та новинки компаній вашої ніші, нові гравці ринку. Пропонуємо разовий парсинг цін конкурентів і моніторинг цін конкурентів за розкладом.

Наповнення каталогу товарів

Парсинг товарів із сайтів постачальників і виробників: назви, артикули, характеристики, описи та фото. Під час парсингу каталогу товарів зберігаємо структуру розділів.

Оновлення цін і наявності

Регулярний парсинг інтернет-магазинів постачальників: ціни та наявність товарів оновлюються у вашому каталозі за розкладом, що усуває потребу в ручному перенесенні даних.

Аналіз маркетплейсів

Асортимент, ціни, пропозиції продавців і рейтинги товарів. Виконуємо парсинг маркетплейсів та агрегаторів цін за заданими категоріями.

Моніторинг відгуків і згадок

Оцінки й тексти відгуків, згадки про вашу компанію, конкурентів і товари на профільних майданчиках, у каталогах і ЗМІ (персональні дані авторів не збираємо).

Пошук тендерів і даних реєстрів

Нові закупівлі за обраними категоріями та відомості з відкритих державних реєстрів.

Збір даних криптобірж

Курси, обсяги торгів, біржові стакани, нові лістинги та новини проєктів із різних бірж для аналітики й торгових систем. Якщо біржа має відкритий API, збираємо дані через API.

Аналіз оголошень і вакансій

Оголошення про продаж і оренду, вакансії компаній для аналізу ринку й попиту (без контактів приватних осіб).

Дані у ваших системах

За наявності доступу завантажуємо дані у ваші системи, наприклад на сайт будь-якої платформи, у CRM, в облікову систему, у Telegram-бота, в онлайн-таблиці або на панель зі звітами. Інший варіант — передавання результату через API або файлом у будь-якому форматі: .xlsx, .csv, .xml, .json тощо.

Зібрані дані обробляємо під задачу: прибираємо дублікати й помилки, приводимо характеристики та одиниці вимірювання до єдиного вигляду, зіставляємо з вашими розділами й довідниками, за потреби перекладаємо описи обраною мовою.

Регулярні парсери розміщуємо на серверах RIVERIT або клієнта. Роботу парсерів контролює команда, яка супроводжує сайти й сервери клієнтів.

Сервіси на основі зібраних даних

Якщо дані потрібні в робочому інструменті, розробляємо вебдодаток, Telegram-бота або мобільний додаток, які працюють із цими даними. Функції сервісу визначаємо під вашу задачу. Під час регулярного збору сервіс отримує свіжі відомості автоматично.

Сервіс створюємо під ключ: проєктуємо, розробляємо й тестуємо.

Після запуску пропонуємо технічну підтримку: стежимо за роботою парсера й сервісу, виконуємо доопрацювання.

Як ми працюємо

Аналіз задачі та джерел

Визначаємо, які відомості потрібні для задачі, і оцінюємо сайти-джерела: будову сторінок, захист від автоматичного збору та можливість законно отримати потрібні дані.

Технічне завдання

Погоджуємо перелік відомостей, які збираємо, вимоги до обробки, частоту оновлення (для регулярного збору) і спосіб передавання результату: файл, API або завантаження у вашу систему.

Парсер і тестовий збір

Розробляємо парсер і на частині даних перевіряємо якість, повноту й стабільність збору до запуску повного парсингу.

Повний збір

Отримуємо весь погоджений обсяг, обробляємо дані й перевіряємо повноту та точність. Готовий результат передаємо способом, визначеним у технічному завданні.

Запуск за розкладом

Для регулярного збору розміщуємо парсер на сервері, задаємо розклад і контролюємо роботу парсера.

Супровід

Якщо на сайті-джерелі змінилася будова сторінок, доопрацьовуємо парсер, щоб збір тривав далі.

Що можна збирати законно

Збираємо будь-які відкриті дані, якщо збір не суперечить закону. У чужі акаунти й особисті кабінети не входимо.

Персональні дані людей збираємо лише за наявності законної підстави (наприклад, за згодою самих людей).

Частину відомостей закривають закон і правила майданчиків, а технічні обмеження деяких сайтів ускладнюють збір. Тому за підсумками аналізу джерел і тестового збору повідомляємо, які відомості вдасться отримати.

Ціна парсингу сайтів

Вартість парсингу сайтів залежить від обсягу робіт. Основні чинники:

Кількість джерел. Під кожен сайт-джерело зазвичай пишемо окремий парсер, тож що більше джерел, то більший обсяг робіт і, відповідно, вища вартість

Будова й захист сайту. Відомості, які з'являються на сторінці лише після дій відвідувача, захист від частих запитів і складна навігація збільшують обсяг робіт із розробки та перевірки парсера

Обсяг і набір відомостей. Кожна сторінка й кожен елемент даних, який збираємо, збільшують обсяг збору та перевірки результату

Обробка й передавання. Зіставлення з вашими розділами й довідниками, переклад, завантаження в систему та передавання через API — додаткові роботи після збору

Регулярність. Збір за розкладом передбачає розміщення парсера на сервері й постійний контроль збору

Доопрацювання парсера після змін на сайті-джерелі оплачується окремо від збору. Попередню вартість називаємо після брифу.

Обговорити задачу

Питання про парсинг

01Що потрібно для оцінки задачі?

Опис мети й посилання на сайти-джерела, якщо вони відомі. Якщо мету поки що сформульовано в загальних рисах, допоможемо визначити, які дані потрібні та де їх узяти.

02Скільки часу триває парсинг сайту?

Строк залежить від кількості джерел, захисту сайтів і обсягу даних. Строк називаємо після аналізу задачі.

03Як часто можна оновлювати дані?

З періодичністю, яка потрібна для задачі й допустима для сайту-джерела.

04Чи можна об’єднати дані з кількох сайтів?

Так. Відомості з різних джерел зводимо в спільний результат з єдиною структурою.

05Чи збираєте ви фото та файли?

Так, фото, документи й інші файли із сайтів-джерел зберігаємо разом з іншими відомостями. Публікувати чужі фото й описи на своєму сайті можна лише з дозволу правовласника, наприклад постачальника або виробника.

06Чи працюєте ви з іноземними сайтами?

Так, країна та мова сайту-джерела на збір не впливають.

07Чи можна змінити набір відомостей після запуску?

Так, доопрацьовуємо парсер під новий перелік відомостей.

08Чи передаєте ви код парсера?

Так, за потреби код парсера передаємо клієнту.

Замовити парсинг сайтів

RIVERIT — IT-компанія з 2015 року, за цей час ми виконали понад 100 проєктів. Пишемо парсер на замовлення під вашу задачу й пропонуємо послуги парсингу сайтів: від разового парсингу даних до регулярного збору з передаванням у ваші системи.

Щоб замовити парсинг, опишіть задачу у формі нижче.