Парсинг даних і збір інформації з відкритих джерел
Парсинг перетворює сторінки сайтів, маркетплейсів і державних реєстрів на структуровані дані, з якими можна працювати: ціни конкурентів, нові тендери, картки компаній, наявність товарів. Ми збираємо такі дані за розкладом, чистимо, звʼязуємо з вашими довідниками і віддаємо у зручному вигляді.
Що ви отримуєте
- Збирачі для кожного джерела з розкладом і повторами
- Базу зібраних даних з історією змін
- Звʼязування з вашими артикулами, контрагентами чи категоріями
- Доставку через API, таблицю чи сповіщення
- Контроль повноти і сповіщення, якщо джерело змінилось
Що ми будуємо і для кого
Джерела бувають трьох типів: відкриті дані з API чи наборами для завантаження (реєстри, Prozorro, НБУ), сайти без API і маркетплейси. Для першого типу беремо офіційні набори, для решти пишемо збирачі з повторами, контролем змін структури і журналом того, що і коли зібрано.
Детальніше про підхід
Зібрані дані звʼязуються з вашими: товар конкурента з вашим артикулом, компанія з кодом ЄДРПОУ, тендер з вашою категорією. Результат живе в базі з API, у таблиці або приходить сповіщенням у Telegram чи на пошту.
Ми самі живемо на зібраних даних: реєстр компаній, тендери, курси, КВЕД і податковий календар Initask працюють на відкритих наборах, які оновлюються за розкладом. Звідти і практика регулярного збору: контроль повноти після кожного оновлення, порівняння з попереднім знімком, щоб помітити раптове падіння кількості записів, і збереження історії змін, щоб бачити, коли саме змінились ціна чи статус компанії.
Рітейл і e-commerce
ціни конкурентів і наявність на маркетплейсах щоранку.
Постачальники
нові тендери під ваші категорії і регіони.
Фінанси й комплаєнс
дані реєстрів про контрагентів, власників і зміни.
Типові задачі
- Моніторити ціни конкурентів і звʼязувати їх з вашими артикулами
- Відбирати нові тендери Prozorro за категорією ДК021, регіоном і замовником
- Збирати дані реєстрів про компанії, керівників і бенефіціарів
- Стежити за наявністю ваших позицій на маркетплейсах і сервісах доставки
- Збагачувати базу контактів і компаній з відкритих джерел
- Віддавати дані через API, таблицю або сповіщення
Як іде робота
- 1
Бриф і дані від вас
Перелік джерел, що саме збирати, ваші довідники для звʼязування, приклади як є.
- 2
Пробний збір
Зразок даних з кожного джерела, щоб перевірити повноту і формат.
- 3
Регулярний збір
Розклад, повтори, контроль змін структури, журнал.
- 4
Звʼязування і доставка
Зіставлення з вашими довідниками, далі API, таблиця чи сповіщення.
- 5
Нагляд
Сповіщення, якщо джерело змінилось або дані перестали надходити.
Дані можна надсилати як є: чернетки, скріни, голосові, вивантаження без обробки. Нормалізацію робимо ми.
Скільки коштує
Надсилаєте бриф і матеріали, наступного робочого дня отримуєте оцінку рядками: блок робіт, години і сума по кожному. Видно, що можна відкласти і на скільки це здешевить старт.
Для регулярного збору в оцінці окремим рядком стоїть підтримка: сайти змінюють структуру, і збирач треба доглядати.
Детальніше про ціниДе ми це вже робили
Реєстр компаній України ↗
Картка кожної юрособи з відкритих даних: стан, капітал, керівник, засновники і бенефіціари, оновлення щотижня.
Тендери Prozorro
Відбір тендерів за категорією, областю і замовником та лист щопонеділка під ваш фільтр.
API відкритих даних ↗
Компанії, тендери, курси НБУ і КВЕД мережі Initask через API за одним ключем.
Агенти і рішення поруч
Готові агенти на цю тему
Агенти з кабінету Initask з ціною рядками за обсягом: частина працює одразу після оплати, частина підключається пакетом впровадження за тарифом.
Технології
- Python
- Node.js
- Playwright
- PostgreSQL
- Redis
- Prozorro API
- Відкриті дані ЄДР
- REST API
- JSON
- CSV
- Telegram Bot API
Питання, які ставлять перед стартом
Чи законний парсинг?
Збираємо публічно доступні дані з дотриманням правил джерела і з навантаженням, яке сайту не шкодить. Персональні дані збираємо лише там, де для цього є законна підстава, і обговорюємо це в брифі. Там, де у джерела є офіційний API чи набір відкритих даних, беремо саме його.
Скільки коштує парсинг?
Оцінка приходить після брифу за робочий день. Вона складається рядками по блоках робіт з годинами і сумою, тому видно, що можна відкласти і на скільки це здешевить старт.
Що буде, коли сайт змінить структуру?
Збирач помічає зміну за контрольними перевірками і надсилає сповіщення. Виправлення входить у підтримку. Поки збирач відновлюється, у базі лишаються останні зібрані дані з датою, тому звіти працюють далі.
У якому форматі ми отримаємо дані?
API у форматі JSON, таблиця Google чи Excel, вивантаження в CSV або сповіщення в Telegram і на пошту. Для API видаємо ключ і опис полів, для таблиці налаштовуємо оновлення за розкладом.
Чи можна отримати дані реєстрів без розробки?
Так, для компаній і тендерів є наші відкриті сервіси і API відкритих даних. Розробка знадобиться, коли дані треба звʼязати з вашими системами чи правилами. Наприклад, картку компанії за кодом ЄДРПОУ можна відкрити в Реєстрі компаній України безкоштовно.