Евгений Ющук. Конкурентная разведка.

Блог профессора УрГЭУ Ющука Евгения Леонидовича "Конкурентная разведка"

Сайт Нежданова Игоря Юрьевича "Аналитическая разведка в России"

Сайт "Конкурентная разведка и информационная война"

Полевые испытания системы мониторинга соцмедиа и управления репутацией в Интернете IQBuzz (Айкубаз)

Автоматизация мониторинга и анализа информационных потоков в Интернете

Социальные сети и многие СМИ очень информативны и удобны для мониторинга. Однако количество их растет, что делает такой мониторинг все более трудоемким. Кроме того, мало собрать информацию, ее надо еще проанализировать и верно интерпретировать. Для оперативного решения этих задач, крайне желательно иметь средства, позволяющие быстро решить две ключевых проблемы:

1. Собрать информацию по интересующей тематике (с возможностью уже на этапе создания запроса отсекать информационный мусор) .

2. Иметь возможность экспресс-анализа с визуализацией результатов - для того, чтобы отслеживать динамику трендов на больших массивах потоковой информации.

Эти задачи, в целом, IQBuzz (Айкубаз) на сегодня решает. Пока не идеально, но уже вполне приемлемо для практической работы.

Покажу, как работает IQBuzz (Айкубаз) на реальном примере. Поскольку меня, как правило, интересует анализ в плане негатив/позитив/нейтральная_информация, а также в плане "кто, в основном, гонит волну?", я выбрал достаточно серьезного ньюсмейкера, по которому заведомо есть много информации разной эмоциональной тональности - Министра обороны РФ Анатолия Сердюкова. И на его примере протестировал работу IQBuzz (Айкубаз).

В основе работы с Айкубаз лежит "рубрика". Это, своего рода, закладка, на которой собирается информация по заданному поисковому запросу. язык запростов у Айкубаз имеется, он не сложен, похож на большинство языков крупных поисковых машин, и позволяет создавать работоспособные поисковые запросы. Думаю, достаточно будет сказать, что логические "И", "ИЛИ" и "НЕ" в нем присутствуют, а также есть "запрет менять словоформу", и "точная фраза".

Как выглядит сжатый результат по имеющейся рубрике, а также создание новой рубрики - видно вот на этом скриншоте (все картинки здесь и далее - кликабельны):

При создании новой рубрики, появляется диалоговое окно, в которое, в частности, вписывается поисковый запрос. Там же можно убрать часть источников, по которым будет вестись мониторинг (по умолчанию, они включены все). Для целей полевых испытаний, я решил сделать мониторинг по словам "Мебельщик" и "Табуреткин" - это устойчивые неформальные прозвища министра, встречающиеся в Интернете. Причем, эти прозвища заведомо характерны для неофициальных текстов, и при этом, преимущественно, негативны.

Для уменьшения количества информационного мусора, я попросил систему показывать только те документы, контекст которых - армия.

Кстати, наличие языка запросов - очень важный момент. Скажем, первоначально я не задал контекста к слову "Сердюков" и не ограничил словоформы. Результатом стало ощутимое замусоривание выдачи упоминаниями актера Павла Сердюка (Паши Сердюка), известного, в частности, по сериалу "Моя прекрасная няня".

Павел Сердюк

Использование возможностей языка запросов Айкубаз снимает эту проблему.

Вот пример результатов, которые были отнесены системой Айкубаз к негативу по запросу 'Сердюков' (картинка кликабельна):

А это - документы, которые отнесены системой Айкубаз к позитивным по запросу 'Сердюков' (картинка кликабельна):

А вот эти документы были отнесены Айкубаз к нейтральным по тональности, по запросу 'Сердюков' (картинка кликабельна):

В ходе работы с документами, справа от результатов есть сводка, позволяющая переключаться между документами разной тональности.

С негативом по заведомо негативному запросу 'Табуреткин | Мебельщик', в контексте "армия", Айкубаз сработал предсказуемо корректно (картинка кликабельна):

А вот "позитив" оказался не по зубам Айкубазу - что, в принципе, объяснимо: сарказм в речи и человек-то не каждый поймет, а машине с этим тем более сложно. Такие запросы, видимо, придется более тщательно отсматривать вручную, (картинка кликабельна):

В ряде случаев, на мой взгляд, можно пополнять список негативных слов, если есть определенные события, которые для данного человека или организации негативны. Например, таковым может быть слово "Кондопога" для руководителя правоохранительных органов Карелии.

Редактирование списка негативных/позитивных слов пользователем в Айкубаз предусмотрено. Вот что написано в разделе "Помощь" по этому поводу:

Автовыделение тональности / Персональная настройка позитива и негатива

Вы можете самостоятельно настраивать правила, по которым будет автоматически определяться позитив и негатив.

При поиске в тексте негатива и позитива Айкубаз использует собственный словарь характерных фраз. Например, негативом будут считаться: ужасный, неудобный, мерзкий, хамить и т.п. Пример позитивных словарных выражений: понравилось, неплохо, прекрасно, качественно. Если какие-то из этих фраз встретятся в непосредственной близости от ключевых слов рубрики, то документ будет отнесен к соответствующей тональности.
Степень близости определяется шириной контекста. Единица ширины контекста в данном случае - одно слово в тексте. По умолчанию при определении тональности берется ширина контекста, равная 5 словам. Проще говоря, если в пределах 15 слов, идущих в тексте друг за другом, встретятся ключевое слово поиска и какая-то фраза из словаря позитива/негатива, документ будет помечен соответствующей тональностью.

Для любой созданной Вами рубрики можно настроить собственный словарь позитива/негатива и установить собственную ширину контекста. Необходимость персональной настройки объясняется тем, что негатив/позитив по отношению к одному объекту не всегда является таковым по отношению к другому объекту.

Для того, чтобы настроить автоопределение тональности для рубрики, необходимо открыть рубрику на вкладке "Информация о рубрике" и нажать кнопку "Настроить определение тональности". В открывшемся окне правила для негатива и позитива настраиваются отдельно.

Тексты, оцененные Айкубаз по запросу 'Табуреткин | Мебельщик', в контексте "армия", как нейтральные по тональности (картинка кликабельна):

Скорее всего , если в словарь негатива/позитива по Сердюкову добавить слова «Мебельщик» и «Табуреткин» именно как негативные, то ситуация с позитивом-негативом будет совсем другая. На практике пока не проверял, но проверю.

Результаты мониторинга можно экспортировать в Word или Excel. При этом, пользователю предоставляется выбор: полностью все документы экспортировать, или только некоторые.

В результате экспорта, в Word попадает полнотекстовый документ.

Вот примеры результатов такого экспорта по разным запросам (картинки кликабельны):

Пожалуй. самой сильной стороной IQBuzz (Айкубаз) является визуализация анализа результатов мониторинга.

По умолчанию, предоставляется "Сводный отчет". Вот так он выглядит по запросу "Сердюков" (картинка кликабельна):

А так - по запросу 'Табуреткин | Мебельщик', в контексте "армия" (картинка кликабельна):

Система позволяет, кликнув на тот или иной участок "Сводного отчета", посмотреть его структуру более глубоко.

Например, вот так (картинка кликабельна):

Активность авторов с позитивом (картинка кликабельна):

Активность блогов с позитивом (картинка кликабельна):

Распределение результатов по источникам (картинка кликабельна):

Общие выводы из тестирования системы Айкубаз (IQBuzz).

1. Система полностью работоспособна уже сейчас, и очень существенно ускоряет мониторинг RSS-потоков, хотя эта ее функция и неуникальна.

2. Система обладает очень полезным и информативным инструментом визуализации результатов, что облегчает анализ больших массивов инормацмм, но еще более полезно при оценке динамики информационного поля.

3. Система хранит информацию даже о блогах, которые существовали непродолжительное время и затем были полностью улдалены и из Интернета, и из результатов выдачи поисковых машин (это было выяснено на примере ряда запросов, не включенных в данный обзор) .

4. Система плохо работает с такими явлениями, как сарказм, поэтому "позитив" в ее понимании далеко не всегда является таковым на самом деле. Однако это характерно для таких систем в в принципе, и может быть отчасти компенсировано ручными настройками списка негативных слов (да и не для всех запросов сарказм встречается таких объемах, чтобы быть значимым).

5. Специалистам и организациям, работающим на аутсорсинге, инструментарий визуализации будет очень полезен тем, что позволяет объектино показать картину для заказчика - как в начале работы, так и позже.

6. По мере того, как будет увеличиваться количество источников информации (разработчики утверждают, что это происходит постоянно) - ценность системы для специалиста, ответственного за мониторинг, будет возрастать.

Евгений Ющук.

22.02.2012 г.

ПРИМЕРЫ РАССЛЕДОВАНИЙ, ПРОВЕДЕННЫХ ЕВГЕНИЕМ ЮЩУКОМ:

Евгений Ющук. Журналистское расследование по сфабрикованному в отношении предпринимателя уголовному делу

* «Правый сектор» — организация, запрещенная в России по решению Верховного суда

Открытый мастер-класс Ющука Евгения Леонидовича. Ющук Евгений Леонидович "Конкурентная разведка против PR в живом эфире". В порядке ответа на
"Черный список", автор которого Кузнецов Сергей Валентинович

Пример отражения профессионалом конкурентной разведки Андреем Масаловичем агрессии со стороны газеты Маркер (атаку, судя по всему, непосредственно возглавлял главный редактор газеты "Маркер" - Александр Малютин ). Ряд подробностей этого инцидента можно увидеть здесь.

Инцидент "профессор Евгений Ющук победил в суде депутата Леонида Волкова" - о сочетании информационных и судебных методов воздействия.

Блог поддержки открытого мастер-класса Ющука Евгения Леонидовича. Ющук Евгений Леонидович "Конкурентная разведка против PR в живом эфире". В порядке ответа на
"Черный список", автор которого Кузнецов Сергей Валентинович

Пример разработки объекта методами конкурентной разведки: Кузнецов Сергей Валентинович

Результат работы конкурентной разведки по объекту - на примере Кузнецова С.В.: Кузнецов Сергей Валентинович

Еще ряд подробностей по депутату Леониду Волкову из инцидента "Ющук против Волкова"