Как анализировать данные с помощью Google BigQuery

Очень часто маркетологам не хватает обычного набора инструментов для обработки больших массивов информации. Когда Google Analytics, Яндекс.Метрики и Excel недостаточно, на помощь приходят сторонние системы управления базами данных (СУБД). 

В этой статье вы узнаете про одну из них – облачную систему Google BigQuery. У неё высочайшая скорость обработки информации, там можно строить отчеты любой сложности, создавать списки ремаркетинга и еще много чего полезного. 

Итак, обо всём по порядку.

Начало работы в Google BigQuery

Google BigQuery – часть Google Cloud Platform, куда входит еще порядка 40 инструментов для вычисления, хранения и анализа данных. Поэтому начинаем с входа в платформу. 

Первый шаг – соглашение с условиями пользования. Если вы не авторизованы в своем аккаунте Google, для начала нужно туда зайти.

После этого система предлагает активировать пробный период:

Не пугайтесь! 300 долларов в кредит – условная вещь. Система не станет списывать с вашего счета средства, пока вы не решите перейти на полную версию. А для того, чтобы исчерпать лимит $300, надо грузить информацию в промышленных масштабах, ибо расценки идут за объем данных. Через 12 месяцев предоставленная в кредит сумма сгорает. Дальше оплата по прайсу ($5 за 1Tb).

После согласия начать пробный период вы принимаете условия его использования:

Нужно оставить свои контакты и сведения о банковской карте:

Дальше создаем проект под определенным названием и снова подтверждаем условия использования:

После оповещения о создании проекта, привязываем его к зарегистрированному ранее платежному аккаунту в платформе:

И наконец-то переходим в интерфейс Google BigQuery, где открываем редактор запросов.

Обратите внимание: рабочая среда сервиса на английском языке. Чтобы открыть редактор запросов, нажмите «Compose query» или сочетание «Ctrl + Space»:

Загрузка данных в Google BigQuery

Три самых простых способа импорта данных в Google BigQuery:

• из CSV файла
• из JSON файла
• из Google Spreadsheets.

Ниже мы подробнее рассмотрим последний способ, с помощью Google Spreadsheets. 

Всё начинается с создания базы данных (dataset). Напомним, что проект у нас уже создан. Остальные поля можно не трогать:

Данные из Google Таблиц можно загрузить двумя способами.

1) Из интерфейса Google BigQuery.

Для этого необходимо выбрать из выпадающего списка Location пункт «Google Drive» и указать полную ссылку на нужную Google Таблицу.

Если вы хотите указать ссылку на конкретный лист, введите полный URL, включая параметр gid. Далее задаём имя таблицы и описываем её схему.

В этом случае данные не только будут загружены в Google BigQuery, но также будет сохранена связь непосредственно с листом таблицы Google.

2) Загрузка с помощью OWOX BI.

Для этого сначала устанавливаем приложение OWOX BI BigQuery Reports для браузера Google Chrome.

После установки оно появляется в вашем списке дополнений в Google таблицах. Выбираем его в меню и кликаем на «Upload data to BigQuery»:

В открывшимся окне «Set destination & schema» указываем проект, набор данных и название таблицы, в которую будут загружены данные:

Кликаем на «Start Upload» и получаем сообщение, что таблица успешно загружена. После этого нажимаем на «Show table in BigQuery» и переходим в интерфейс Google BigQuery. Там уже будет присутствовать только что загруженная таблица «load_from_spreadsheets»:

По алгоритму загрузки статистики из рекламных систем Яндекс.Директ, Google Ads, MyTarget, ВКонтакте рекомендуем статью коллег из eLama:

Как загрузить статистику из рекламных систем в Google BigQuery

Среди прочих способов импорта данных в Google BigQuery – клиентские библиотеки API; стриминг данных из Google Analytics.

Замечательное достоинство Google BigQuery – здесь можно сводить данные из разных источников. 

Снова обратимся к опыту eLama: они поставили задачу определить эффективность обучающего вебинара. А именно – сколько участников зарегистрировались в сервисе после обучения и сколько из них подключили аккаунт Google Ads. 

Для этого аналитики скомбинировали информацию из трех источников:

• Список посетителей вебинара в CSV-файле из сервиса ClickMeeting (сторонняя платформа для проведения онлайн-конференций и вебинаров);
• Список пользователей еЛамы в CSV-файле из собственной MySQL-базы;
• Информация о подключении клиентами аккаунта Google Ads – события на фронтенде сайта eLama, которые фиксируются в Google Analytics. 

Другие возможности Google BigQuery

Как мы уже упомянули, система позволяет:

Строить отчеты любой сложности

Например, составить список пользователей, совершивших определенные действия на сайте, но не дошедших до оплаты. Для того, чтобы передать его в отдел продаж – прозванивать. Актуальная фича для e-commerce и онлайн-сервисов.

Создавать списки ремаркетинга по определенным условиям

Например, выделить тех, кто зарегистрировался, но не пополнил баланс. В Google BigQuery пишем соответствующие запросы и получаем список user_id, по которому можем создать аудиторию и использовать ее в рекламе.

При этом Google BigQuery работает с полным объемом данных. Тот же Google Analytics сэмплирует (дробит) большие массивы. Для достоверных анализов, где используются конкретные user_id пользователей, сэмплирование неприемлемо. Стриминг всех данных из Google Analytics в BigQuery позволяет обойти это ограничение.

Ну а для того, чтобы упаковать итоговые отчеты в красивые графики, в облачной платформе Google есть интеграция с более 20 системами визуализации данных (вкладка Data Analytics and Visualization):

Резюме

Вместо заключения перечислим еще раз преимущества системы — почему стоит выбрать Google BigQuery.

1) Вы не привязаны к локальным системам. Вся информация хранится и обрабатывается в «облаке». 

2) Скорость на значительных объемах данных.

3) Простота. В любой другой системе управления базами данных (СУБД) помимо знания SQL придется долго разбираться с тонкостями администрирования и настройками базы.