Senior Data-инженер

по договоренности

СБЕР

Москва

· 13 дней назад

Описание вакансии

Создаем поисковый сервис для ответа на запросы пользователей на естественном языке. Ломаем барьер между статичными знаниями языковой модели и постоянно меняющимся миром. Предоставляем GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы, включая вопросы о свежих новостях и событиях.

Обязанности

разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства
разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования в задачах поиска
проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи поиска
применять машинное обучение и искусственный интеллект для улучшения результатов работы, поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых

Требования

продвинутый уровень владения Python и SQL
опыт работы с движками для распределенной обработки данных (Spark, Trino), оркестраторы Airflow
умение проектировать DWH, Data Lake, Data Management Platform
опыт построения и развития высоконагруженных систем
опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+)

Будет плюсом:

опыт работы с таблицами формата Iceberg
опыт работы с индексами ElasticSearch/OpenSearch
опыт работы с GPU (инференс моделей)

Условия

комфортный современный офис г. Москва, м. Кутузовская
возможность выбрать удобный график – гибридный формат или офис
ежегодный пересмотр зарплаты, годовая премия
корпоративный спортзал и зоны отдыха
более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

Откликнитесь на вакансию:

Посмотреть контакты