# Парсеры и сбор данных

> Сбор, нормализация и передача открытых данных в API, таблицу, базу или внутреннюю систему.

Определяю допустимый источник, нужные поля, частоту обновления и поведение при изменении структуры данных.

## Что входит

- проверка источника и структуры данных
- извлечение и нормализация полей
- повторные запросы и обработка изменений
- выгрузка в API, CSV, таблицу или базу
- Docker-запуск и журналирование

## Результат

Воспроизводимый сбор данных с понятным форматом результата и контролем ошибок.

## Состав и стоимость работ

Оценка зависит от числа источников, защиты сайта, объёма данных и требований к обновлению.

- Общая оценка: 8–32 часов; основная ставка 2200 ₽ / час; расчётный средний чек 44 000 ₽
- Расчёт: 20 ч × 2200 ₽
- Календарный ориентир: 2–7 рабочих дней · ≈ 4 рабочих дня

### 1. Проверка источника

Изучаю доступность данных, структуру страниц и допустимый способ получения.

- проверка источника
- нужные поля
- частота обновления
- риски изменений

- Трудозатраты: 1–5 ч
- Срок: 1 рабочий день
- Расчётный ориентир: 3 ч · 6600 ₽

### 2. Сбор и нормализация

Реализую извлечение данных и привожу их к согласованной структуре.

- запросы и обход
- извлечение полей
- очистка данных
- единый формат результата

- Трудозатраты: 3–13 ч
- Срок: 1–3 рабочих дней
- Расчётный ориентир: 8 ч · 17 600 ₽

### 3. Устойчивость

Обрабатываю сетевые ошибки, повторы и изменения структуры источника.

- повторные запросы
- ограничение частоты
- обработка пропусков
- журналирование ошибок

- Трудозатраты: 2–8 ч
- Срок: 1–2 рабочих дней
- Расчётный ориентир: 5 ч · 11 000 ₽

### 4. Выгрузка и запуск

Передаю данные в нужную систему и оформляю воспроизводимый запуск.

- API, CSV или база
- планировщик обновлений
- Docker-запуск
- инструкция и передача

- Трудозатраты: 2–6 ч
- Срок: 1–2 рабочих дней
- Расчётный ориентир: 4 ч · 8800 ₽

## Как проходит работа

1. **Разбор.** Фиксируем процесс, данные, участников и ограничения.
2. **Проектирование.** Согласуем границы, проверочные сценарии и оценку.
3. **Реализация.** Работа идёт по этапам с демонстрацией результата.
4. **Передача.** Документирую запуск, ограничения и дальнейшие шаги.

## Услуги из профиля

- Парсинг
- Написание парсера

[Полный список услуг на Profi.ru](https://profi.ru/profile/VasilyevAA210)

## Что влияет на оценку

Количество систем и ролей, качество данных, доступность API, требования к надёжности и критерии приёмки.

Базовая ставка: 2200 ₽ / час.

Диапазон часов — ориентир до разбора. Финальную оценку фиксирую после согласования состава работ.

## Связанные проекты

- [API расписания РТУ МИРЭА](https://vasilev-aleksandr.ru/cases/mirea-schedule-api/index.md): Публичный API стал единой точкой доступа к расписанию.

[Обсудить задачу](https://t.me/wyndace)