Цель:

Мы хотим прогревать наши рассыльщики на почтовых серверах mail.ru. Для этого мы хотим завести свои ящики, получать на них свои письма и отмечать их как важные.

Сценарии:

Я как админ покупаю 1000 ящиком на mail.ru. Один ящик представляет собой комбинацию: email;password;proxy где proxy это опциональное значение (его может не быть)

Я как админ хочу пометить свои письма как не спам. Я запускаю рассылку на свои ящики. После этого я ставлю задачу — каждому ящику найти письма по заголовку (или по содержимому) за заданное число и нажать не спам.

Я как админ хочу создать эффект вовлеченности людей. Я запускаю рассылку на свои ящики. После этого я ставлю задачу - 15% ящиков должны найти письмо по заголовку (или содержимому) и ответить заданным текстом (с поддержкой шаблонизатор)

Я как админ хочу создать эффект вовлеченности ящиков. Я запускаю само прогрев. Я задаю количество писем на один ящик, я задаю количество получателей, я задаю вероятность включения ящика в прогрев. Все ящики которые попали в вероятность прогрева, заходят и отправляют заданное количество писем на другие ящики в пуле.

Базовые методы по работе с ящиками

Для реализации сценариев необходимо реализовать следующий список методов для ящиков в mail.ru:

• авторизация в системе используя прокси (входные параметры: email, password, secret question, secret answer, proxy settings)
• получение списка писем в inbox (входные параметры: получать только новые или получать все за период времени)
• получение списка писем в spam (входные параметры: получать только новые или получать все за период времени)
• перенос письма из inbox в spam (входные параметры: ид письма)
• пометка письма флажком, важное письмо (входные параметры: ид письма, статус флажка (вкл-выкл))
• перенос письма из spam в inbox (входные параметры: ид письма)
• открытие письма, оно же пометить как прочитанное (входные параметры: ид письма)
• переход по ссылке в письме (ид письма, анкор ссылки для открытия)
• создание нового письма (входные параметры: текст письма, получатель письма)
• ответ в цепочке писем (входные параметры: ид письма, текст письма, получатель письма)
• смена пароля (входные параметры: старый пароль, новый пароль)

Ограничения: мы не поддерживаем отправку картинок, мы не поддерживаем разрыв цепочки писем.

Что такое id письма?

В списке писем, каждая цепочка писем это ссылка с a href. Внутри этого href есть искомый ид: "/inbox/0:17238435541582434693:0/?app_id_mytracker=58519&authid=mc8swymf.c0j&back=1&dwhsplit=s10273.b1s&from=login&x-login-auth=1", где 0:17238435541582434693:0 и есть ид цепочки. Ссылка на само письмо будет иметь вид: https://e.mail.ru/inbox/0:17236719041349053929:0/ Таким образом мы можем в бд хранить списко полученных писем в ящике и их статусы (спам\не спам, наше действие связанное с письмом)

Схема компонентов системы

Предполагается агентская система:

Где:

BackOffice: веб админ панель, не входит в MVP

DataBase: база данных для постановки задач и просмотра статистики. На данном этапе предполагается PostgreSQL. На не MVP этапе должна быть разделена на BQ/PG. Для настроек и конфигураций PG, для хранения истории писем и отработки джобов bigquery.

Agent: это докер контейнер, внутри которого в цикле крутится playwright для обработки задач из базы данных. Агентов может быть больше\меньше - это наша точка масштабирования производительности. Один агент - фактически один браузер, который может последовательно заходить в аккаунты.

Redis: в редисе предлагается хранить данные по сессиям, как-то кукисы и иже с ними, чтобы любой агент мог быстро получить к ним доступ или обновить их.

Proxy: это http прокси, которые мы используем для подключений к аккаунтам. У каждого аккаунта есть закрепленный за ним прокси. Если у аккаунта нет закрепленного за ним прокси - идет фолбек на общий прокси с ротиурующимся IP.

Структура бд

Accounts

• id: uuid для идентификации аккаунта
• email: емейл для логина
• password: пароль от аккаунта
• useragent: юзерагент браузера
• recovery_question: запрос для восстановления
• recovery_answer: ответ на запрос для восстановления
• proxyUri: данные прокси для подключения, может быть пусто
• status: статус аккаунта, active (все ок), error (последний логин завершился ошибкой), suspended (мы его не используем по какой-то причине сейчас)

jobs

Таблица для управления задачами, через нее происходит управление агентами

• creationTimestamp: время постановки задачи в очередь
• jobID: ид джобы
• accountID: с каким аккаунтом нужно выполнить действие
• taskName: какое действие необходимо выполнить
• payload: настройки для задачи, к примеру ид сообщений для лайка или пометки не спам
• status: колонка со статусом исполнения, нужна для того, чтобы воркеры не брали занятые или выполненные задачи
• workerId: заполняется ид воркера, если он взял задачу в работу
• proxy: заполняется фактическим прокси, который используется для доступа к аккаунту
• ip: заполняется фактическим IP с которого происходит доступ
• lastUdate: время последнего обновления записи

mails

таблица со списками писем, обнаруженных в ящиках, где:

• timestamp: время когда запись была обнаружена
• jobId: ид задачи из jobs table
• accountID: ид аккаунта почты
• mailId: ид цепочки писем из mailru
• status: статус письма в почте, new, spam, read
• theme: тема письма
• time: время получения письма
• body: текст письма если мы в него заходили

Логика взятия задач

Агенты должны уметь ограниченный список простых задач + контекст который им приходит. При запуске нового цикла обработки задач агент выбирает первую не занятую задачу, после этого выбирает все задачи связанные с этим аккаунтом, помечает их все как занятые в бд и начинает выполнять последовательно все задачи связанные с этим аккаунтом.

Логика постановки задач увы весьма сложная. Мы имеем списки писем, и должны точено выбирать что с ними делать. На данный момент пакетный режим формирования задач оставим за кадром (это часть админки будет не в MVP). То есть мы можем поставить задачу - прочитать все письма, после чего по ним раскидать задачи - что-то в спам, что-то ответить и т.п. Для этапа MVP вместо админ панели предлагаю использовать MetaBase. В метабейсе можно сделать редактирование данных, так же и удобный просмотр отчетов.