Отслеживание (трекинг) пользователей сайтов и мобильных приложений используется для показа таргетированной (целевой) рекламы, борьбы с мошенниками, создающими мультиаккаунты, и для других целей. В этой статье расскажем о самых популярных способах отслеживания и о связанных с ними нюансах.
Уникальная метка на устройстве пользователя (cookie)
Идея первого метода максимально проста и применяется очень давно. При посещении вашего сайта вы устанавливаете в браузере пользователя уникальную метку, по которой в будущем сможете его распознать. Обычно используются cookie, поскольку они автоматически передаются в каждом запросе, но существуют и другие типы браузерных хранилищ: localStorage, Indexed DB или file cache (сохраненные на диске файлы). Для мобильных приложений механизм точно такой же: приложение сохраняет уникальную метку в свое хранилище и позже обращается к нему для идентификации устройства.
Поскольку метка уникальная, то вы получаете 100% точность при определении конкретного устройства или пользователя.
Для пользователя очень просто уйти от такого способа отслеживания. Достаточно очистить содержимое хранилища браузера или открыть браузер в режиме инкогнито. Но полная очистка хранилища приведет к завершению сессий на всех сайтах, где пользователь авторизован (его «разлогинит»), поэтому вероятность такого события достаточно мала, а значит, отслеживание пользователей сайтов с помощью уникальной метки — это достаточно стабильный, долгосрочный и надежный способ трекинга.
Third party cookie
До недавнего времени такой механизм с использованием cookie позволял отслеживать посещения пользователями разных сайтов, если на них был установлен код одной трекинг системы. Это давало возможность трекинг системе собирать информацию о всех посещенных конкретным пользователем сайтах и страницах, и на их основе строить модель интересов пользователя для показа более подходящей рекламы.
Такая модель использовала сторонние куки (third party cookie), поскольку метки устанавливались при обращении к трекингу с других сайтов. Такая прозрачность активности пользователей для поисковых и рекламных систем ставила под угрозу приватность пользователей, поэтому производители браузеров задумались о решении этой проблемы. В настоящее время Firefox и Safari запретили установку сторонних cookie, а производители браузера Chrome (и, вероятно, основанных на нем Edge, Opera, Yandex Browser и других) планируют сделать это в следующем году. Это сделает трекинг пользователей между разными сайтами невозможным на основе установленной в куки уникальной метки.
Тем не менее, в рамках одного сайта этот способ продолжит работать. А для отслеживания пользователей между разными сайтами будут использоваться другие методы, такие как отпечатки устройств (device fingerprints), о которых пойдет речь ниже.
Цели отслеживания пользователей
Важно разделять отслеживание обычных пользователей и тех, которые намеренно стараются уйти от отслеживания.
Первые обычно не очищают хранилища браузеров и редко пользуются режимом «инкогнито» в браузере, поэтому установив уникальный идентификатор в хранилище браузера, этих пользователей можно отслеживать достаточно долго и надежно. Это классический случай отслеживания пользователей для целей показа им рекламы в интернете. Даже если 1-2% пользователей удастся избежать трекинга, общий эффект рекламной кампании от этого значительно не изменится.
В случае с пользователями, которые знают об отслеживании и стараются его избежать (начиная от пользователей, которые стремятся к большей анонимности, и заканчивая профессиональными мошенниками), могут использоваться различные инструменты для анонимизации посещения сайтов. Это могут быть специальные расширения для браузеров, которые блокируют код трекеров, так и ручная очистка браузера между сессиями. Об инструментах для отслеживания продвинутых анонимных пользователей в целях реализации работы антифрод системы мы поговорим ниже. В данном случае как раз 1-2% пользователей, которые уходят от трекинга, и составляют основную целевую группу, на которую антифрод решение обращает особое внимание. Поэтому их нельзя просто проигнорировать, как в примере с рекламой выше.
Отпечаток устройства (device fingerprint)
Очистить хранилище браузера с cookie-файлами достаточно просто, но изменить настройки браузера так, чтобы это не вызывало подозрений у антифрод системы — это более сложная задача. Поэтому популярным способом отслеживания пользователей сайтов стало создание цифрового отпечатка устройства, основанного на различных технических параметрах самого устройства и его настроек, указанных пользователем в процессе работы с девайсом.
В зависимости от типа приложения (сайт или мобильное приложение) используются разные типы фингерпринта.
Отпечаток браузера (browser fingerprint)
Если отпечаток устройства создается сайтом, то используются те характеристики, которые доступны через JavaScript и другие браузерные технологии. Частое заблуждение заключается в том, что сайт может получить идентификаторы «железа» вашего устройства: ID жесткого диска, сетевой MAC-адрес и другие. Обычные браузеры не предоставляют доступа к этим данным, но другой доступной информации (например, разрешение экрана, язык, часовой пояс устройства) достаточно, чтобы довольно точно идентифицировать девайс. На небольших выборках уникальность может доходить до 100%. Это значит, что у каждого устройства составлен device fingerprint, по которому сайт может идентифицировать пользователя, даже без указания им логина и пароля.
Отдельно стоит упомянуть менее уникальный, но также полезный тип отпечатка: отпечаток операционной системы (OS fingerprint). Он отличается от browser fingerprint тем, что совпадает для всех браузеров, работающих на одном устройстве. Таких свойств, которые будут одинаковыми для разных браузеров, немного (например, часовой пояс устройства), но они помогут установить, что даже при использовании другого браузера пользователь все еще находится на том же самом устройстве. В некоторых случаях и в сочетании с дополнительными признаками (например, с реальным IP адресом) это является дополнительным фактором, который используется для вычисления мультиаккаунтов.
Отпечаток мобильного устройства (mobile device fingerprint)
Мобильные приложения также могут создавать отпечатки устройства. Им доступны более глубокие характеристики операционной системы, которые недоступны браузеру. Например, это может быть размер жесткого диска, оперативной памяти, внутренние сетевые адреса и другие свойства.
Обычно создание антифрод системы для мобильных приложений достаточно сложно, поэтому разработчики приложений используют сторонние модули (Mobile SDK) от производителей антифрод систем.
Еще несколько лет назад во многих антифрод решениях для приложений на Android использовался сбор таких идентификаторов устройства, как IMEI устройства, ID сим карты, сетевой MAC-адрес, уникальный Android ID самого устройства. Но в новых версиях Android сбор этих данных стал ограничен, поэтому эффективность устаревших мобильных SDK снижается с каждым днем по мере перехода пользователей на более новые версии операционной системы. Вы можете прочитать нашу статью на тему использования идентификаторов в Android.
Отпечаток соединения
Дополнительным источником данных для создания цифрового отпечатка устройства выступает сетевое соединение, по которому устройство передает запросы к вашему сайту. Этот метод позволяет выявить особенности реализации сетевых протоколов, которые зависят от железа устройства, операционной системы и используемых на нем программ, в том числе браузеров.
У нас есть большая статья на тему сетевых отпечатков в антифрод системах. Рекомендуем прочитать ее, а здесь приведем самые популярные типы сетевых отпечатков.
Отпечаток подключения к удаленному серверу (TCP/IP fingerprint)
Отпечаток основан на особенностях реализации сетевого протокола на устройстве при установке TCP соединения с сервером. Разные девайсы, операционные системы и программы используют различные библиотеки или собственные реализации TCP протокола, поэтому по такому отпечатку возможно с высокой точностью судить о типе устройства, с которого установлено соединение с сервером.
При использовании в соединении прокси TCP/IP отпечаток будет содержать признаки соединения через посредника, поскольку прокси устанавливает TCP соединение с конечным сервером от своего имени.
Отпечаток установки защищенного соединения (SSL/TLS fingerprint)
SSL/TLS сетевой фингерпринт основан на том, как на устройстве реализовано шифрование соединения. Обычно это зависит от тех библиотек, которые используются в конкретном софте. Например, у браузеров Chrome и Firefox отпечатки SSL/TLS будут различаться.
Прокси сервера прозрачно передают запрос на установку защищенного соединения от клиента к серверу, поэтому не влияют на SSL/TLS отпечаток. Это логично, поскольку иначе прокси сервер мог бы прослушивать защищенное соединение и смысл в шифровании терялся. Тем не менее, этот вид сетевого отпечатка хорошо определяет совершение сетевых запросов через средства автоматизации или сторонний софт, такой как curl или wget.
Отслеживание по геолокации
Логика отслеживания по геолокации чаще всего основана на IP адресе. Хотя IP легко изменить, используя прокси, такой вид связи часто используется для обогащения уже существующих данных на основе отпечатка устройства. Можно выделить несколько видов связи пользователей по геолокации в зависимости от ее точности и стабильности.
IP адрес
Самый простой вид связи. Если у вас один постоянный IP адрес, то все ваши действия легко объединить на его основе. На практике в эту простую логику добавляются различные нюансы.
IP адрес одного пользователя может меняться со временем. Частый случай — динамичный IP адрес, выдаваемый интернет-провайдером. Если пользователь обладает мобильным устройством (например, ноутбук или смартфон), то он может подключаться к различным точкам доступа и таким образом может использовать разные IP.
Один IP адрес может использоваться несколькими устройствами. Например, если вы подключаетесь к сети через WiFi, к которому также подключены другие пользователи. Такая ситуация часто встречается у интернет-провайдеров: для экономии на выделяемых абонентам IP адресах конечные пользователи помещаются за NAT и все имеют одинаковый внешний IP. Сильнее всего это проявляется у пользователей мобильных операторов. Поэтому если у нескольких ваших пользователей IP адреса совпадают, вполне возможно, что они просто используют мобильное интернет-подключение одного оператора связи.
Подсеть (subnet) IP адреса
Менее точный, но более стабильный способ отслеживания пользователей. Лучше всего подходит для случаев получения пользователем разных IP адресов от своего интернет-провайдера. В то время, как IP адрес будет изменяться, подсеть (группа IP адресов, составленная по определенному признаку, например, по принадлежности одному провайдеру) сохранится.
Для случаев подключения пользователя к разным точкам доступа (домашний интернет, мобильный или публичный WiFi) подойдет способ отслеживания на основе отнесения всех получаемых IP к одному населенному пункту.
WebRTC
Еще один способ связи по IP адресу — анализ лога подключения устройства к WebRTC серверу. В нем может быть указан не только внешний, но и локальный IP адрес девайса (адрес в локальной сети), который достаточно стабилен, чтобы выступать дополнительным идентификатором пользователя.
Геолокация по GPS
Наиболее точный способ геолокации. Позволяет с точностью до нескольких метров определить реальное местоположение устройства. Обычно доступно на мобильных устройствах и требует дополнительного разрешения от пользователя. На основе местоположения девайса формируются области активности пользователей на карте, по которым можно определить их типичную локацию или искать связи между разными пользователями на ее основе.
Отслеживание пользователей в антифрод системах
Отслеживание пользователей наиболее популярно у операторов онлайн рекламы для более целевого показа объявлений и повышения их эффективности. Другая отрасль, в которой используется трекинг пользователей — это антифрод системы. Они помогают владельцам сайтов и мобильных приложений вычислять мошенников, а также отслеживать их и устанавливать связи между аккаунтами, созданными в целях совершения фрода. На основе цифровых отпечатков антифрод решение способно выявить сеть учетных записей, которые используются одним человеком. Например, если с одного устройства происходит управление десятками банковских аккаунтов, оформленных на разных людей, это является поводом для проведения дополнительных проверок со стороны службы безопасности кредитной организации.
Перечисленные выше методы (и некоторые другие) используются в антифрод системе Web Antifraud для отслеживания пользователей, поиска мульти-аккаунтов и их связей для выявления мошенников. Предлагаем вам воспользоваться тестовым периодом для оценки всех ее возможностей. Если у вас есть вопросы о нашем антифрод решении, напишите нам.
