Введение
Функциональность доступна на платных тарифах.
Data Stream — поток данных, поступающий от приложения и прошедший обработку в AppMetrica. Он доступен для экспорта в виде файлов формата CSV (стандарт RFC 4180) или JSON. Список полей для экспорта можно задавать с помощью запроса к API.
Поток представлен последовательностью 5-минутных окон данных. Каждое окно можно скачать при помощи запроса к API и получить файл в заданном при настройке формате. Все данные потока хранятся 7 суток. Размер данных и состав полей можно узнать при помощи запроса к API.
Неагрегированные данные, собранные для вашего приложения могут быть использованы для построения собственных отчетов или аудиторий для ретаргетинга. Для выгрузки доступны данные:
- События.
- Установки.
- Начало сессий.
- Push-токены.
- Крэши.
- Ошибки.
- Клики и показы.
API построен по REST-принципам. С помощью запроса Настройка потока задается конфигурация потоков данных: типы событий, наборы полей и фильтры. После конфигурации потока новые данные начнут записываться в файлы, которые можно загрузить с помощью запроса Скачивание данных.
При изменении конфигурации потока настройки применяются только к новым данным, уже сформированные файлы не изменятся.
Кому подойдет данный продукт
Data Stream API подойдет вам, если:
- необходим регулярный экспорт данных;
- у вас крупное приложение или большой пакет проектов;
- ваш объем выгрузки превышает 500 тысяч записей за раз;
- важна частота выгрузки и отсутствие ограничений.
Данные в настоящем времени
Обычно последние два 5-минутных окна постепенно растут в размере, поскольку в них дописываются данные. Поэтому рекомендуется скачивать поток с отставанием хотя бы в 10 минут. Для проверки, не обновились ли данные после скачивания, можно смотреть на поле update_timestamp в ответе на запрос Состояние потока. Стоит допускать, что возможны пропуски окон в ситуациях, когда сервис Data Stream находится в нерабочем состоянии, и в таком случае потерь данных нет, однако, первые окна после пропусков будут иметь больший размер данных.
При технических работах в сервисе Data Stream данные будут записаны в файлы, сформированные после их окончания. Поэтому они могут иметь больший размер. При этом исключается потеря данных и гарантируется корректный event_timestamp во всех записях.
Возможности и ограничения
| Задержка real-time данных | 10 минут для стабилизации последней пары 5-минутных окон |
| Очередь на обработку запроса | Нет. Файлы доступны сразу |
| Доступность данных для выгрузки | С момента конфигурации потока, история недоступна |
| Время жизни файлов | 7 суток |
| Конфигурация полей экспорта | Да |
| Фильтрация событий по имени | Да, с помощью белого и черного списков |
| Формат выгрузки | CSV, JSON |
| Поддержка сжатия | Да, с помощью кодека gzip |
| Запросов в сутки | До 50000 |
| Параллельных загрузок | До 10 |
| Задержка real-time данных | 10 минут для стабилизации последней пары 5-минутных окон |
| Очередь на обработку запроса | Нет. Файлы доступны сразу |
| Доступность данных для выгрузки | С момента конфигурации потока, история недоступна |
| Время жизни файлов | 7 суток |
| Конфигурация полей экспорта | Да |
| Фильтрация событий по имени | Да, с помощью белого и черного списков |
| Формат выгрузки | CSV, JSON |
| Поддержка сжатия | Да, с помощью кодека gzip |
| Запросов в сутки | До 50000 |
| Параллельных загрузок | До 10 |