Как анализировать данные с помощью Google BigQuery

Очень часто маркетологам не хватает обычного набора инструментов для обработки больших массивов информации. Когда Google Analytics, Яндекс.Метрики и Excel недостаточно, на помощь приходят сторонние системы управления базами данных (СУБД). 

В этой статье вы узнаете про одну из них – облачную систему Google BigQuery. У неё высочайшая скорость обработки информации, там можно строить отчеты любой сложности, создавать списки ремаркетинга и еще много чего полезного. 

Итак, обо всём по порядку.

Начало работы в Google BigQuery

Google BigQuery – часть Google Cloud Platform, куда входит еще порядка 40 инструментов для вычисления, хранения и анализа данных. Поэтому начинаем с входа в платформу

Первый шаг – соглашение с условиями пользования. Если вы не авторизованы в своем аккаунте Google, для начала нужно туда зайти.

Google BigQuery – пользовательские условия в Google Cloud Platform

После этого система предлагает активировать пробный период:

Google BigQuery – активация пробного периода

Не пугайтесь! 300 долларов в кредит – условная вещь. Система не станет списывать с вашего счета средства, пока вы не решите перейти на полную версию. А для того, чтобы исчерпать лимит $300, надо грузить информацию в промышленных масштабах, ибо расценки идут за объем данных. Через 12 месяцев предоставленная в кредит сумма сгорает. Дальше оплата по прайсу ($5 за 1Tb).

После согласия начать пробный период, вам нужно будет оставить свои контакты и сведения о банковской карте:

Google BigQuery – контактные данные при регистрации

Дальше создаем проект под определенным названием и снова подтверждаем условия использования:

Google BigQuery – создание проекта

После оповещения о создании проекта, привязываем его к зарегистрированному ранее платежному аккаунту в платформе:

Google BigQuery – привязка проекта к платежному аккаунту

И наконец-то переходим в интерфейс Googl BigQuery, где открываем редактор запросов. 

Обратите внимание: рабочая среда сервиса на английском языке. Чтобы открыть редактор запросов, нажмите «Compose query» или сочетание «Ctrl + Space»:

Google BigQuery – переход в редактор запросов

 

Загрузка данных в Google BigQuery

Три самых простых способа импорта данных в Google BigQuery:

  • из CSV файла
  • из JSON файла
  • из Google Spreadsheets.

Ниже мы подробнее рассмотрим последний способ, с помощью Google Spreadsheets. 

Всё начинается с создания базы данных (dataset). Напомним, что проект у нас уже создан. Остальные поля можно не трогать:

Google BigQuery – создание базы данных

Данные из Google Таблиц можно загрузить двумя способами.

1) Из интерфейса Google BigQuery.

Для этого необходимо выбрать из выпадающего списка Location пункт «Google Drive» и указать полную ссылку на нужную Google Таблицу.

Если вы хотите указать ссылку на конкретный лист, введите полный URL, включая параметр gid. Далее задаём имя таблицы и описываем её схему.

Google BigQuery – загрузка данных из Google таблицы

В этом случае данные не только будут загружены в Google BigQuery, но также будет сохранена связь непосредственно с листом таблицы Google.

2) Загрузка с помощью OWOX BI.

Для этого сначала устанавливаем приложение OWOX BI BigQuery Reports для браузера Google Chrome.

Google BigQuery – установка приложения OWOX BI BigQuery Reports

После установки оно появляется в вашем списке дополнений в Google таблицах. Выбираем его в меню и кликаем на «Upload data to BigQuery»:

Google BigQuery – выбор OWOX BI в дополнениях Google таблиц

В открывшимся окне «Set destination & schema» указываем проект, набор данных и название таблицы, в которую будут загружены данные:

Google BigQuery – окно «Set destination & schema»

Кликаем на «Start Upload» и получаем сообщение, что таблица успешно загружена. После этого нажимаем на «Show table in BigQuery» и переходим в интерфейс Google BigQuery. Там уже будет присутствовать только что загруженная таблица «load_from_spreadsheets»:

Google BigQuery – загруженная таблица «load_from_spreadsheets»

По алгоритму загрузки статистики из рекламных систем Яндекс.Директ, Google AdWords, MyTarget, ВКонтакте и Facebook рекомендуем статью коллег из eLama:

Как загрузить статистику из рекламных систем в Google BigQuery.

Среди прочих способов импорта данных в Google BigQuery – клиентские библиотеки API; стриминг данных из Google Analytics.

Замечательное достоинство Google BigQuery – здесь можно сводить данные из разных источников. 

Снова обратимся к опыту eLama: они поставили задачу определить эффективность обучающего вебинара. А именно – сколько участников зарегистрировались в сервисе после обучения и сколько из них подключили аккаунт AdWords. 

Для этого аналитики скомбинировали информацию из трех источников:

  • Список посетителей вебинара в CSV-файле из сервиса ClickMeeting (сторонняя платформа для проведения онлайн-конференций и вебинаров);
  • Список пользователей еЛамы в CSV-файле из собственной MySQL-базы;
  • Информация о подключении клиентами аккаунта Google AdWords — события на фронтенде сайта eLama, которые фиксируются в Google Analytics. 

Другие возможности Google BigQuery

Как мы уже упомянули, система позволяет:

Строить отчеты любой сложности

Например, составить список пользователей, совершивших определенные действия на сайте, но не дошедших до оплаты. Для того, чтобы передать его в отдел продаж – прозванивать. Актуальная фича для e-commerce и онлайн-сервисов.

Создавать списки ремаркетинга по определенным условиям

Например, выделить тех, кто зарегистрировался, но не пополнил баланс. В Google BigQuery пишем соответствующие запросы и получаем список user_id, по которому можем создать аудиторию и использовать ее в рекламе.

При этом Google BigQuery работает с полным объемом данных. Тот же Google Analytics сэмплирует (дробит) большие массивы. Для достоверных анализов, где используются конкретные user_id пользователей, сэмплирование неприемлемо. Стриминг всех данных из Google Analytics в BigQuery позволяет обойти это ограничение.

Ну а для того, чтобы упаковать итоговые отчеты в красивые графики, в облачной платформе Google есть интеграция с более 20 системами визуализации данных (вкладка Data Analytics and Visualization):

Google BigQuery – интеграция с сервисами визуализации данных

Резюме

Вместо заключения перечислим еще раз преимущества системы — почему стоит выбрать Google BigQuery.

1) Вы не привязаны к локальным системам. Вся информация хранится и обрабатывается в «облаке». 

2) Скорость на значительных объемах данных.

3) Простота. В любой другой системе управления базами данных (СУБД) помимо знания SQL придется долго разбираться с тонкостями администрирования и настройками базы.

У BigQuery всю административную часть на себя взял Google. Здесь нет никаких настроек, индексов, движков таблиц, тайм-аутов или внешних ключей. 
 
Достаточно знать, как загрузить данные в BigQuery, и иметь базовые знания в SQL.
 
4) Стоимость. Даже если вы очень постараетесь и будете ежедневно записывать в эту базу данных миллионы строк, все равно вряд ли сможете потратить более $5.