Mы — команда синтеза речи голосового ассистента Маруся, сейчас нас 4 человека. Команда распределённая — Москва, Санкт-Петербург, Казань. Мы сфокусированы на построении end-to-end пайплайна синтеза речи. Сейчас улучшаем качество как самого синтеза, так и текстового фронтенда (нормализация текста, расстановка в нём ударений, пауз и акцентов).

Наша цель — построить устойчивое решение, которое можно масштабировать и использовать как для голосового ассистента, так и за его пределами.

Технологии: PyTorch, Kubeflow, S3, ONNX, TensorRT.

Задачи:

• Разработка моделей: text2text для предобработки входного текста, различных акустических моделей и вокодеров. Для text2text ищем возможность использовать большие pretrain-модели. В разрезе аудиомоделей проводим эксперименты с разными архитектурами: авторегрессионными, параллельными, codec-based.
• Подбор данных для обучения моделей. Майнинг и фильтрация текстовых данных, подготовка и контроль записи аудио.
• Чтение и разбор статей. Мы находимся в постоянном поиске новых технологий, поэтому нужно будет читать статьи, искать новые подходы, воспроизводить их и тестировать на наших данных.
• Определение приоритетов и задач для своей команды.
• Контроль качества разрабатываемых решений.
• Обучение и развитие команды DL-специалистов.

Требования:

• Опыт управления командой.
• Знание классических алгоритмов и структур данных.
• Глубокое понимание алгоритмов машинного обучения.
• Опыт внедрения моделей в продакшен.

Будет плюсом:

• Опыт работы с моделями и данными в звуковом домене (ASR, TTS, voice cloning и т. п.).
• Знание методов оптимизации больших моделей: квантизация, onnxruntime, TensorRT.