Вводные данные:

Основные функции:
1. Воспроизведение аудиофайла
    - Поддержка любого одного аудиоформата
2. Голосовое управление
    - Основные команды:
        - "Стоп" - пауза воспроизведения.
        - "Возобновить" - продолжение воспроизведения.
3. Добавление голосовых аудиозаметок
    - Возможность записывать голосовые заметки прямо во время прослушивания книги.
    - Автоматическая привязка заметки к таймкоду аудиокниги.
4. Интеграция с ChatGPT-4    
    - Во время прослушивания можно сказать "Стоп" и задать вопрос по содержанию книги.
    - ChatGPT-4 анализирует запрос и предоставляет ответ (например, уточняет исторический факт или объясняет сложный термин).
    - Возможность голосовой командой "Добавь это в заметки" сохранить ответ как заметку.

Суть приложения

Мы хотим сделать приложение для проигрывания аудиокниг с телефона. Как MVP нам ок, что будет происходить работа только с файлами на телефоне (пост мвп возможно интегрируем скачивание аудиокниг). Помимо этого мы хотим интегрировать в приложение возможность оставлять аудио заметки к самой аудиокниге. Отдельно мы хотим иметь интеграцию с АИ. Мы хотим иметь метод конвертации аудио книги в текст. Мы хотим иметь возможность скормить АИ текст книги и задать по нему вопрос (возможно не будет работать). Мы хотим иметь возможность задать голосом любой вопрос к АИ.

Список экранов

Главный экран

Содержит блок списка последних открытых файлов, и кнопку открыть файл (которая открывает меню выбора аудиофайла)

Экран файла

Содержит в нижней части управляющую панель (текущая позиция, старт\стоп, назад на 10 секунд, вперед на 30 секунд).

Содержит кнопку "записать заметку", которая запускает запись аудиофайла.

Содержит список (с вертикальным скролом) связанных со слушаемой книгой заметок. На каждой заметке есть кнопка Play, которая включает проигрывание этого файла, останавливая проигрывание книги. После конца заметки, необходимо продолжать проигрывать файл в месте остановки.

Содержит кнопку "посмотреть текст", которая открывает экран с текстом.

Содержит кнопку "задать вопрос", которая работчает аналогично записи заметки, но заметка отправляется в аи.

Содержит кнопку назад, для перехода к Главному экрану.

Экран текста

Содержит распознанный текст приложения.

Содержит скролл.

Содержит кнопку назад к Экрану файла.

Функционал

Кросс платформенное приложение на 2 платформы, IOS и Android, с использованием Flutter.

Самый простой, стандартный Material Design для всего в приложении.

Для сохранения заметок и транскрипций предлагается использовать ту же файловую систему, откуда мы берем файл. К примеру:

• my_beloved_book.mp3

тогда заметки к книге будут иметь вид:

• my_beloved_book__00-32-12.mp3
• my_beloved_book__01-25-31.mp3

Это две заметки, одна к 32й минуте записи, вторая к 85й минуте записи.

Текстовая транскрипция книги будет иметь вид:

• my_beloved_book.txt

Таким образом мы получим возможность легко находить заметки, и сделаем их отделяемыми от книги. Возможная проблема — если в папке с файлом уже есть файл с заданным именем? В это случае я предлагаю дописывать -1 в конце, таким образом избегая коллизий Возможная проблема - невозможность писать в папку с файлом, в этом случае мы создаем папку с именем файла в каталоге приложения, и дальнейшие заметки уже в нее складываем.

Мы должны сохранять позиции всех открытых файлов, чтобы человек легко мог прослушать ранее не законченную книгу.

Для конвертации звука в текст предлагается использовать модель OpenAI / Whisper с провайдером https://ai.cloudflare.com/ Согласно их тарифной сетки - 10 часов распознавания аудиокниги будет стоить 1,21USD.

Для задавания вопросов предлагается использовать whisper + chatgpt + какой-то voice to text.

Out of mvp

Голосовые команды, задавание вопроса по контексту книги (я бы рекомендовал еще и просто задавание вопросов не включать в MVP). Кнопки проигрывателя в шторке.

Дополнительные вопросы

Приложить примеры конкурентов, для поиска гипотез.

Добавить подписку?