пʼятниця, 31 липня 2015 р.

А кто-то видел новый браузер в Гугл Аналитике вашего сайт? | MS Edge browser is not being detected in Google Analytics


Это как в истории про суслика:
- Ты суслика видишь?
- Нет.
- Я тоже нет. А он есть!

Так и здесь. Заходы с браузера Edge на сайт есть - но Гугл Аналитика их не распознает. Как так? А вот так.

Internet Explorer - отличный инструмент чтобы скачать Google Chrome

Все больше и больше людей, что ставят шаровый апдейт на Windows 10 пробуют Edge браузер. А Гугл Аналитика их не показывает.

ГА вычитывает информацию о браузере из строки Юзер Агента, отсылаемой браузером при каждом запросе к серверу.
Если зайти на сайт MSDN то MS Edge браузер отсылает вот такой User Agent

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.<OS build number>

Что видно? Новую версию виндоуз равную 10.0, что в целом вполне ожидаемо - а дальше полная каша из Chrome, Safari и наконец свой собственный идентификатор Edge.
Чего не хватает? Gecko (Firefox) и IE (Internet Explorer). Первый не нужен, а отказ от второго вполне ожидаем.
Помимо умервщления бренда Internet Explorer - "черный пиар" сделал свое грязное дело, майкрософт задекларировал избавление от программного кода накопленного за годы. Так называемые Web 2.0 сайты активно используют ДжаваСкрипт, продвинутый CSS и прочие фичи в обиходе современной веб разработки. И все это работает немного по разному в разных браузерах. Приходится прямо в сайт встраивать код отличающийся для разных браузеров, разных версий. На сегодняшний день нет сайтов адаптирующихся под Edge и конечно же майкрософт не хотел чтобы их браузер идентифицировался как неизвестный или что еще хуже идентифицировался как IE.

Большинство парсеров юзент агента идентифицируют это как Chrome. Так же поступает и Гугл Аналитика. Это еще куда ни шло, хотя и странно - MS Windows 10 Preview с Edge браузером доступна уже много месяцев. Страница на msdn с примером юзер агента доступна еще дольше.
"Гугл в своем репертуаре". А теперь самое главное: парсер юзер агент строки используемый в Гугл Аналитике искренне считает что версия операционной системы это NT. Вот как! Откуда ноги растут видно если посмотреть на другие юзер агенты, однако кто б мог подумать что гугл зилла настолько тупая..

Итак - Гугл Аналитика распознает заходы с Edge браузера как Chrome на Windows x64 и версии NT. Ок - с этим можно работать.

По ссылке доступен сегмент Гугл Аналитики изолирующий для нас эти заходы.
https://www.google.com/analytics/gallery/#posts/search/%3F_.tab%3DAll%26_.start%3D0%26_.term%3DEdge%20browser%26_.viewId%3D7WxOe8NJRsa2kN-fryOrcQ/

Его нужно скачать и импортировать в Представление (View). Ну или создать.
  1. Откройте любой стандартный отчет в вашей Гугл Аналитике, например Аудитория (Acquisition)
  2. Нажмите Добавить сегмент (Add Segment)
  3. Выберете раздел Технология (Technology)
  4. Введите Windows в поле Операционная Система (Operating System)
  5. Введите NT в поле Версия Операционной Системы (Operating System Version) и установите тип соответствия (match type) в точно соответствует (exactly matches)
  6. Введите Chrome в поле Браузер (Browser)
  7. Введите 42.0.2 в поле Версия Браузера (Browser Version)
  8. Нажмите Сохранить (Save)
Практически все заходы что вы увидете будут с Edge браузера. Еще будет немного с других браузеров где Гугл лажает, но основная масса это все таки Edge.

Что еще можно сделать? Используя простой фильтр по полю Версия Операционной Системы засылать подобные заходы в отдельное Представление (View) - новый браузер, новые баги с которыми надо работать.

Ок - я хочу бежать впереди паровоза и видеть Edge браузер в моих отчетах в Гугл Аналитике. Это можно сделать?
Разумеется.
В Гугл Аналитике, даже на уровне фильтров, нет доступа к "сырой" строке Юзер Агента. Она нам дается уже обработанной в виде набора значений (полей) доступных для фильтров.

Можно подменять строку Юзер Агента непосредственно из кода сайта либо из Гугл Таг Менеджера (Google Tag Manager, GTM) на например один из древних нетскейпов (старый, тупой, но надежный Netscape Navigator). Его Гугл аналитика уж точно распарсит, а поскольку динозавры все вымерли - то все навигаторы в наших отчетах Гугл Аналитики будут на самом деле новейшими эджами :)

Еще вариант двумя последовательными фильтрами Представления, полагаясь на поле Версия Операционной Системы подменять значение Браузер на Edge.

Вариантов и идей много - нет предела человеческой изворотливости и приспособничеству. Где гуглзилла тупит - человеческий мозг расцветает. Пока еще так. Но надолго ли?


Другие посты на тему Гугл Аналитики

пʼятниця, 17 липня 2015 р.

Автоматизация Адвордса | Google AdWords scripting

Оказывается адвордс (Google AdWords) можно автоматизировать! Без всяких сложных SDK и компиляций - обычные джаваскрипты! Зачем это нужно? Ну например:
  • найти и отрепортить не работающие ссылки в рекламных объявлениях, вы ж не хотите платить за клики которые ведут на страницы с ошибками 404, 500 и т.д.  http://www.freeadwordsscripts.com/2014/04/monitor-broken-links-using-mcc-level.html
  • требования бизнеса устанавливают меняющийся бюджет (и биды) в зависимости от дня недели, дня месяца или даже в зависимости от события в городе? Не проблема это реализовать http://www.freeadwordsscripts.com/2013/10/disable-ads-and-keywords-for-out-of.html
  • автоматическая пауза рекламных объявлений и ключевых слов для товаров которые закончились на складе http://www.freeadwordsscripts.com/2013/10/disable-ads-and-keywords-for-out-of.html
  • создания гибридных отчетов включающих в себя данные из адвордса (стоимость) и из вашей СРМ (продажи, лиды)
  • изменить тексты объявлений автоматически указывая количество дней (часов) до окончания рекламируемого события
  • поиск аномалий - если неожиданно снизился клик рейт или кейворд(ы) ушли ниже окупаемости
  • ваша идея?..
Сложно ли писать скрипты для адвордс? Не очень - необходимо очень базовое понимание джаваскрипта и более детальное объектной модели адвордс скриптинга.
Сложно ли использовать готовые скрипты? Абсолютно нет.

Вот пошаговая инструкция куда, что копировать и какие кнопки жать:
Самый простой скрипт состоит из функции main().
Нет, она не принимается параметры argv и argc.
Вообще никакие параметры не принимает - но выполнение скрипта начинается с нее. Нам доступен объект AdWordsApp с кучей полезных свойств и методов дающий доступ практически ко всему, что есть в адвордсе. Есть скрипт сервисы позволяющие создавать диаграммы, доступаться к гугл драйву, ходить в интернет, отправлять почту (email) и многое другое.
Скрипты могут вести логи вызывая функцию Logger.log() Логи затем доступны через интерфейс в адвордсе.

Скрипты работают от имени пользователя и имеют абсолютный максимум выполнения в 30 минут (что важно если скрипт ходит в интернет в цикле). Для МСС эккаунтов (скриптов) возможно выполнение в течении 60 минут. Если скрипт должен работать дольше - гугл рекомендует использовать так называемые инкрементальные скрипты: помечать обработанные объекты и при следующем запуске не начинать сначала.

Есть странное ограничение в 250 тысяч изменений инициализированных скриптом и итератор ограничен в 50 тысяч записей (почему не 64). Еще ограничения описаны здесь: https://developers.google.com/apps-script/guides/services/quotas

Вступление в скриптинг для адвордс (осторожно - английский): https://www.youtube.com/watch?v=M_dxVvJ5knM
и немного по русски https://www.youtube.com/watch?v=aYlwUhOzNYc

Дополнительные ресурсы по скриптингу для Адвордс от Гугл
Ниже небольшое вступление в адвордс скриптинг на примере. Для тех кто вчера еще не знал что такое JavaScript. 

Если код выше вызывает вопросы в стиле "кто здесь" - Просмотрите вступление в JavaScript - сразу станет легче:
http://blog.klimenko.kiev.ua/2015/02/javascript.html

середа, 15 липня 2015 р.

Почему вы можете потерять данные Гугл Аналитики или Google Analytics PII ToS requirements

В вашу учетную запись Гугл Аналитики поступают персональные данные? Возможно вы об этом даже не догадываетесь.


Пункт 7 Защита личной информации УСЛОВИЙ ПОЛЬЗОВАНИЯ СЕРВИСОМ Google Analytics запрещает хранение в Гугл Аналитикe информации которая может персонально идентифицировать пользователя. Гугл довольно строг с этим и поскольку данные уже попавшие в Гугл Аналитику невероятно сложно изменить или удалить - Гугл может сказать "ку-ку" и удалить Учетную Запись (Account). В редких случаях, позволяет исправить проблему и сохранить данные.


Что же Гугл считает информацией персонально идентифицируемые данные? Ну например:

  • Имя и/или фамилия
  • Имя пользователя (login) и пароль
  • Email
  • Детали платежной карты
  • Номер паспорта, прав, идентификационный налоговый номер и т.д.
  • Номер телефона (мобильный)
  • Биометрическая информация

Что можно хранить в Гугл Аналитике?

  • Обобщающие классификаторы такие как возраст, почтовый индекс, дата рождения, пол, город...
  • Внутренний идентификатор CRM, любой не публичный идентификатор который можно легко сменить

Оффтопик: Для тех кто не знает, CRM это Система управления взаимоотношениями с клиентами судя по википедии. Во как сказано!

Это все здорово, но я не храню эти данные Гугл Аналитике! Я только вчера узнал, что такое Пользовательские Специальные Параметры (Custom Dimension).
Вы можете сохранять эти данные случайно. И даже если вы (по не знанию или лени) не можете их вытащить отчетами - парни из Гугл Аналитики при закрытии учетной записи, очень легко их для вас вытащат и продемонстрируют. Перефразируя известную печальную фразу - не знание Гугл Аналитики не освобождает от ответственности.

Но откуда данные позволяющие персонально идентифицировать пользователя возьмутся в Гугл Аналитике?

  • Довольно часто через Заголовок Страницы (тег html title). Пользователь залогинился в сайт и на его "персональной странице" в заголовке его полное имя. Если на этой странице есть код Гугл Аналитики - трах бах, данные уже там.
  • Более редкий, но не менее жизненный пример: через сообщение об ошибке и события Гугл Аналитики. Пользователь зашел на сайт активировать свою лицензию, по какой-то причине это не сработало и сайт вместо того чтобы грубо буркнуть что-то типа красным шрифтом Error, вежливо отписался: "Уважаемый Остап-Сулейман-Берта-Мария-Бендер-бей. Ваш лицензионный код активировать нельзя ибо...". Отличная идея. Затем вы настраивая Гугл Аналитику подумали - а почему бы не сохранить факт ошибки в Гугл Аналитики, ну и включить текст ошибки, на случай "если чё". Тоже неплохая идея. Best Practice можно сказать. Но вот две отличный идеи привели к тому, что вы нарушаете правила пользования и случится может трах бах.
  • Программист -идиот-редиска сделал на сайте форму в которой есть поля Email или Имя и все это отправляется GETом (то есть через URL - строку запроса). Гугл Аналитика честно отослала эту строку к себе и сохранила навечно. Трах бах.

Имеющий фантазию уже видит массу других ситуаций.

Что делать шеф?

  • во всех формах использовать POST вместо GET. Не, ну серьезно - это ж 2015ый на дворе
  • если сайт тупой и не использует серверную сессию, а таскает идентификатор пользователя по всем линкам - не используйте Email. Ложите туда гуид, уникальный числовой ИД..
  • настройте фильтры Представления в Гугл Аналитике и вырезайте из урлов нужные параметры
  • минимум раз в квартал запускайте репорт по всем данным в которых могут быть персонально идентифицируемые и ищите, ишите, ищите.

Ну или не парьтесь.
"Закроют и ладно. Открою новый. Все равно смотрю данные аналитики только чтоб узнать сколько за вчера зашло. Не дорос еще".

полезные ссылки
https://support.google.com/adsense/answer/6156630?hl=en
https://support.google.com/adsense/answer/6163366?hl=en

Успехов комрады!

Другие посты на тему Гугл Аналитики



пʼятниця, 10 липня 2015 р.

Реферрал спамеры в Гугл Аналитике - кто они и как с ними бороться

Есть такая профессия - родину защищать сайт продвигать.
Одна из методик это спамить адрес сайта в качестве сайта источника (реферала) в Гугл Аналитику кого не попадя, надеясь, что человек-аналитик скопирует адрес сайта в браузер посмотреть, а что это за ресурс такой клевый генерирующий столько заходов.
Делали это? Принимайте мои поздравления - в лучшем случае у вас теперь аффилиэйтская кука на покупки на алибабе или еще где-то.
Даже не пытайтесь найти на сайте реферал спамера ссылку или хотя бы упоминание вашего сайта/продукта. Ее там нет.
Более того, весь трафик со всяких семалтов (semalt.com), дародаров (darodar), кнопок-для-вашего-сайта - фиктивный. Не настоящий. Не существующий.
Точнее существующий только в гугл аналитике. Ребята используют Analytics Measurement Protocol и убеждают Гугл Аналитику будто что-то произошло. Что для этого нужно? Абузоустойчивый впс хостинг и сотни новых сокс прокси в день. Не так уж и дорого.



По большому счету, список спамеров гадящих в вашу песочницу эккаунт Гугл Аналитики вы можете найти у себя в отчете по рефералам. Но если будут сомнения то ниже ресурсы замеченные в пакостях.
  • semalt.com
  • darodar.com
  • event-tracking.com
  • buttons-for-website.com
  • buttons-for-your-website.com
  • best-seo-solution.com
  • best-seo-offer.com
  • free-share-buttons.com
  • floating-share-buttons.com
  • torture.ml
  • amanda-porn.ga
  • generalporn.org
  • depositfiles-porn.ga
  • youporn-forum.ga
  • rapidgator-porn.ga
  • meendo-free-traffic.ga
  • buy-cheap-online.info
  • www.Get-Free-Traffic-Now.com
  • addons.mozilla.org
  • googlsucks.com
  • simple-share-buttons.com
  • social-buttons.com
  • humanorightswatch.org
  • o-o-6-o-o.com
  • bestwebsitesawards.com
  • hulfingtonpost.com
  • ilovevitaly.com
  • blackhatworth.com
  • forum20.smailik.org
  • BlackHatWorth.com
  • lomb.co
  • lombia.co
  • econom.co
  • cenoval.ru
  • 7makemoneyonline.com
  • priceg.comkambasoft.com
  • lumb.co
  • ranksonic.info
  • savetubevideo.info
  • see-your-website-here.com
  • ranksonic.info
  • Iskalko.ru
  • guardlink.org
  • pornhub-forum.ga
  • theguardlan.com
  • pornhub-forum.uni.me
  • baiducontent.com
  • e-buyeasy.com (aliexpress affiliation cookie)
  • success-seo.com (semalt.com)
  • videos-for-your-business.com (semalt)

Серьезный ли от них вред? Сравнительно небольшой, но количество спамеров ростет, а вместе с количеством и удельный вес фиктивного трафика искажающего общюю картину с названием "Путешествия клиента по вашему веб ресурсу" (website Customer journey), как это некоторые называют.

Бороться с этими ребятами можно только одним способом - добавляйте нехитрые фильтры во все Представления (View) используемые для анализа.
Пока что на 99% работают фильтры с конфигурацией как на скриншоте. Один процент остается на хитрых перцев.


В качестве шаблона использую простой регекс (Regular Expression). Конечно нужно смотреть бойцов, что спамят именно в ваш эккаунт и исключать их например еженедельно. Ну или параноидально все сайты из списка.

(semalt)|(darodar)|(buttons-for-website)|(best-seo-offer)|(nibbler\.silktide)|(buttons-for-your-website)|(social-buttons)|(best-seo-solution)|(free-share-buttons)|(event-tracking)

Нужно помнить, что регулярное выражение используемое в фильтрах Гугл Аналитики имеет ограничение на 255 симоволов. Так что - не разгонишься. Зато фильтров может быть много.


В какой-то мере надо сказать этим реферал спамерам спасибо.
Большинство из них понимает русский, потому СПАСИБО ВАМ ребята!

Проблеме уже больше года и гугл только сейчас немного чешется чтобы проблему решить. Благодаря вам - проблема решится раньше. Какая проблема? Хорошо если эти друзья только спамят. Но ведь можно полностью закакать аналитику конкурента фиктивными просмотрами страниц, покупками или добавить мороки в анализ PPC / PPM / AdWords данных.

Вероятнее всего в Гугл Аналитике возле сайтов источников (рефералов) появится кнопка "добавить в список спамеров / исключить хиты от источника". Имеющие воображение сразу сообразят, что сделают после этого спамеры.

А как вы решаете эту проблему?



Еще раз - для тех кто в танке. Никакие .htacceess / web.config здесь не причем. Никто на сайт не ходит, информация об этих хитах существует только в мире Гугл Аналитики.
Чтобы создать фильтр нужно зайти в Администрирование Гугл Аналитики, кликнуть Все Фильтры, Создать Новый, выбрать тип Пользовательский, Исключение и поле Реферал.

Другие посты на тему Гугл Аналитики