Original email-warmup doc

Mail warmup project plan

1. Рельсы

На этом этапе мы должны заложить основу решения (генерация API-контрактов, линтинг, CI/CD).

Со стороны бэкенда это: Инфраструктура + БД (Проектирование схем, Настройка PostgreSQL + ORM, Инициализация Redis, Написание базовых CRUD-операций).

Со стороны DevOps необходимо упаковать эти рельсы в Docker.

2. Агент (автоматизация через браузер)

• Авторизация (Playwright через прокси)
• Получение входящих/спама
• Извлечение mailId из DOM + фильтрация новых писем
• Пометка как прочитанного
• Ответ на письмо
• Проверка статусов аккаунта (active, error, suspended)
• Логика сохранения данных в БД После этого необходимо выполнить донастройку CI/CD.

3. Job-система

• Реализация системы постановки задач в jobs
• Агент читает задачу, выполняет, обновляет статус
• Типы задач: downloadList, markImportant, respond

4. Прокси-менеджмент

• Интеграция поддержки http/socks-прокси
• Привязка прокси к аккаунтам
• Тестирование прокси

5. Тестирование и стабилизация

• Тестирование авторизации, загрузки, чтения писем
• Тестирование сценариев задач (ответы, выбор писем)
• Обработка ошибок, таймаутов, прокси-фейлов

Operational costs

Цена сопровождения состоит из нескольких параметров:

• стоимость оборудования
• стоимость прокси
• стоимость аккаунтов
• стоимость человека эксплуатирующего систему
• доработки при изменениях со стороны мейлру

Разберем каждый пункт отдельно.

Стоимость оборудования

Мы предлагаем запускать задачи на dedicated server. Обычно это оптимальное решение в плане соотношения производительности\цены. Стоимость обычно составляет от 120 до 200e в месяц, в зависимости от конкретной модели. Вы можете заказать сервер у ITDep, т.к. уже есть сервера на OVH у CAT. Вместe с сервером так же необходимо отдельно покупать ip адреса (примерно 10евро).

Стоимость прокси

Для работы системы необходимы русские прокси. Попытки соединений не из России приводят к более жестким методам верификации. Прокси в России тарифицируются по используемому траффику. В среднем цена варьируется от 3 до 6 usd за гигабайт трафика.

Стоимость аккаунтов

Стоимость аккаунтов варьируется на рынке, аккаунты продаются в формате (login, pass, secret phrase), стоимость от 1 до 2 usd. Аккаунтов нужно много, они будут банится и умирать периодически (особенно если попадутся не качественные прокси)

Стоимость человека эксплуатирующего систему

Необходим квалифицированный оператор системы, который бы вносил данные по купленным аккаунтам, прокси и т.п, а так же управлял задачами (применяя здравый смысл, в том что есть спам, а что не есть спам)

Доработки при изменениях со стороны мейлру

Самая проблемная часть. Периодически что-то будет ломаться. Кнопка поедет в другое место, добавят новый блок с акцией на страницу с почтой, и т.п. Система будет периодически ломаться, и ее нужно будет чинить. Частота изменений со стороны мейл ру на данный момент не предсказуема. В течение первого квартала можно будет выйти на какую-то среднюю цифру. Любые правки мейлру влияют только на блок 2 Агент.

Базовый мониторинг

В целом для обслуживания сервера требуется до 5 часов девопса в месяц на обслуживание (плановые обновления и т.п.) Примерно от 100 до 250 usd/month

start plan

• Роадмап указан в выше.

• Для старта необходимо:

  • аккаунты с которыми необходимо работать
    • mail.ru
    • прокси (желательно несколько разных)
  • сервер для деплоя (вам нужно согласовать его с Артемом, либо самим зарегистировать аккаунт на ovh.ie)

• Синк команы мы хотели бы делать дейли, если вам не удобно можете их пропускать.

• От вас нужен человек, который в дальнейшем будет менеджить продукт, как-то закупать прокси, аккаунты, вносить их в систему и т.п.

Risks

Есть риск возникновения проблем с банами в случае не очень качественных прокси и аккаунтов или усложенния процессов со стороны mail.ru. Для этого случая у нас есть резервный план. OctoBrowser имеет отличный от нашего механизм поддержки фингерпринтов пользователей, и если нас будут стабильно банить - мы можем перейти на него. Это потребует переработки CI/CD и покуки лицензий на него, но из последних тестов выглядит так, что их механизм подделки финег