ИЩИТЕ И ОБРЯЩЕТЕ: КАК ПРАВИЛЬНО ИСКАТЬ ИНФОРМАЦИЮ В ОТКРЫТЫХ ИСТОЧНИКАХ

Вы, на Западе, совершаете два смертельных
греха: ищете то, что уже было найдено,
и покупаете то, что можно иметь бесплатно.
Коносуке Мацусита

     Сергей Кузнецов, бизнес-консультант, бизнес-тренер, испытатель систем поиска в текстах, член Экспертного совета по кодификации и систематизации законодательства при Председателе Государственной Думы РФ, эксперт программы Российского комитета ЮНЕСКО "Информация для всех", разработчик ряда поисковых технологий, автор более ста публикаций и монографий по технологиям управления знаниями, системам поддержки принятия решений и поиску в Интернет.
 

ЧЕЛОВЕЧЕСКИМ ЯЗЫКОМ

     Открытые источники - источники легально полученной информации, доступ к которым возможен на законных основаниях.
     Разведка по открытым источникам (open source intelligence) - комплекс информационных технологий для систематического нахождения информации в открытых источниках и, возможно, доставки данных в машиночитаемой форме.

Важность информации для обеспечения экономической безопасности и конкурентоспособности компании уже давным-давно никем не оспаривается. Но хотя внутри бизнес-системы курсируют сотни тысяч документов, важные данные передаются из уст в уста, но сотрудники отнюдь не горят желанием расставаться со своими знаниями, гарантирующими им исключительное положение на фирме и вообще работу в корпорации. В результате доступная информация, неадекватно отражает состояние и тенденции изменения внешней среды, поэтому принятие решений только на ее основе связано с высоким риском.
     Еще в 60-х годах прошлого столетия, сразу с появлением тиражируемых ЭВМ в США возникло направление информационных технологий под названием "разведка по открытым источникам". Позорного попадания американской ракеты в здание китайского посольства в Белграде можно было бы избежать, если бы "цэрэушники" вовремя озаботились приобрести за $2,98 карту югославской столицы. Однако, их умению учиться на своих ошибках можно только позавидовать - в оборонную доктрину США срочно был добавлен специальный раздел об изучении роли открытых источников в сборе критической информации. В "Плане стратегических инвестиций анализа разведсообщества" прямо указывается, что работа с легально полученной информацией должна стать "высшим приоритетом для инвестиций", поскольку процесс ее "добычи" и безопаснее, и дешевле.
 

Классификации разведывательной деятельности
 
  • агентурная разведка (сбор сведений на месте агентами разведки)
  • разведка по графической, фото, видеоинформации и иным изображениям
  • разведка по сигнальной информации (измерения различной аппаратуры, радиоперехват, прослушка)
  • разведка по открытым источникам.
  •  

         Если спроецировать ситуацию на бизнес-среду, то становится понятно, что информацию о конкурентах не обязательно собирать или красть, ее нужно и можно находить. Причем базовые навыки сбора и обработки данных необходимы большинству специалистов любых сфер бизнеса, независимо от размера компании и рода деятельности сотрудника - от рядового аналитика или менеджера до "первого лица". Дело в том, что более 80% необходимой для профессиональной деятельности оперативной и стратегической информации может быть получено через Интернет. Общий объем информации, доступной через Интернет, превышает 550 млрд индивидуальных документов, которые "весят" 20.000 ТБ (1 ТБ / ТераБайт = 10 в 12 степени байт) и "привязаны" к более, чем 40 млн. серверов. На русский сегмент Сети приходится более 800 тыс. документов. Основная коммерческая информация сосредоточена в базах данных, 35% которых доступно бесплатно. В большинстве случаев открытые источники Интернет перекрывают любую отдельно взятую коммерческую службу баз данных, ресурс крупнейшей их которых не превышает 3 млрд. документов.
     

    Информация к размышлению
         Ежегодно в мире генерируется около 5 ЭБ новой информации на различных носителях (1 ЭБ / ЭкзаБайт = 10 в 18 степени байт. 1 байт обеспечивает запись на машинные носители 1 буквы европейского алфавита), а передается по каналам связи - около 18 ЭБ. Каждые три года объем создаваемой информации удваивается.
     
    Основные "этичные" методы бизнес-разведки
     
    Тематическая область
    Цель поиска
    Конкуренты Наблюдение за конкурентами, кредиторами, заемщиками, контрагентами, партнерами и акционерами компании, выявление структуры предложения, построение реестра предлагаемых товаров и услуг
    Политика Выявление групп давления и отдельных лоббистов, их использование для продвижения благоприятных для компании политических решений
    Государство Использование органов власти для пресечения противоправной деятельности конкурентов, инициация проверок и судебных расследований
    Криминал Мониторинг правомочности действий интересующих персон и корпораций, прогнозирование и профилактика афер в области интереса компании, сбор доказательств для судебного преследования и иного противодействия, обеспечение управления рисками бизнеса
    Право Мониторинг законодательства в области жизненных интересов корпорации, выявление лоббистов и опасных законопроектов, профилактика обстоятельств непреодолимой силы
    Потребители Учет и анализ претензий, предпочтений и предложений
    Лучшие практики ведения бизнеса Сбор информации о сильных сторонах конкурентов, выявление внешних и внутренних сведений о собственных слабостях и уязвимостях (на уровне компании в целом, ее отдельных подразделений, товаров и услуг), систематический поиск предприятий - лидеров в операциях, которые выполняются компанией не лучшим образом, и постоянное изучение и освоение их опыта (бенчмаркинг)
    Провалы Глобальный мониторинг сообщений о банкротствах и коммерческих крахах, утечках информации и скандалах, систематизация сведений о слабостях и уязвимостях отраслевых предприятий, формирование реестра отраслевых рисков и обновление перечня сведений, составляющих коммерческую тайну (антибенчмаркинг)
    Корпоративные клиенты Персонификация и улучшение качества обслуживания, назначения и перемещения руководителей, контакты с конкурентами
    Прочие клиенты Сегментация потребительского рынка, построение профиля розничного и иных типов потребителей
    Заказы Наблюдение за объявлениями конкурсов, тендеров, подрядных торгов, распределением бюджетных и иных крупных заказов, выявление потенциальных заказчиков и инвесторов, изучение технологических и иных преимуществ победителей конкурсов
    Финансы Мониторинг предложений кредитных организаций, грантодателей, благотворительных фондов, спонсоров, властей
    Нематериальные активы Выявление и сбор доказательств для судебного преследования субъектов, незаконно использующих объекты интеллектуальной собственности, мониторинг данных для оспаривания мешающих бизнесу охранных документов
    Технологии Оценка технологического потенциала конкурентов и выявление ведущих специалистов, мониторинг научно-технической информации, технологических новинок и патентов в области интересов компании
    Связи с общественностью Социологический мониторинг публикаций и высказываний о деятельности компании, измерение реакции на распространяемые компании материалы, обнародование информации об успехах компании и провалах конкурентов, регулярная генерация информационных поводов
    Безопасность Контроль утечки конфиденциальной информации и техдокументации Корпорации
    Персоны Слежение за действиями нужных или опасных для Корпорации специалистов (менеджеры конкурирующих организаций, собственный персонал, политики, ученые и иные секретоносители и лица, принимающие решения), оценка направлений ротации кадров, изучение мотивов уволенных и уволившихся, выявление потенциальных агентов конкурирующих фирм
    Подразделения Слежение за работой филиалов, представительств, дочерних фирм
    Средства сбора и анализа Выявление и испытание средств и методов слежения, обработки и анализа
    Источники информации Мониторинг появления и контроль качества ресурсов Интернет - источников нужных для компании сведений
    Иные данные Сбор материалов по всем иным значимым для компании проблемам (прочие риски профессиональной деятельности и управления), описанным корпоративным классификатором области жизненных интересов компании и компетенции ее персонала
    Обратная связь Мониторинг изменения области интересов компании, развитие корпоративного классификатора, уточнение профиля слежения, экспертиза качества поставленной информации.
     

         Однако львиная доля информации (более 95%) - так называемый невидимый Интернет - недоступна через поисковые системы общего назначения (Яндекс, Google и др.). Кроме того, поиск по стандартным алгоритмам требует немалых денег. Например, инвестор металлургического портала RUSMET.RU, декларировавший мониторинг русскоязычных металлургических серверов, вынужден был каждый месяц платить несколько тысяч долларов только за трафик. Поэтому грамотное использование возможностей Сети предполагает овладение технологиями управления знаниями: например, методами поиска проблемно-ориентированных баз данных для решения конкретной проблемы.
         Если найти в Сети поисковые системы и базы данных, где публикуется или индексируется критическая для данной компании информация о конкурентах и рынках, и научиться регулярно выполнять на таких поисковых системах специфичные запросы (например, для формирования досье конкурента), получится малозатратная система слежения за изменениями условий бизнеса на неопределенной базе открытых источников. В крупной компании такая система может иметь форму:
    - персональной электронной газеты (Интернет-рассылки, адаптированной к информационным потребностям конкретного сотрудника);
    - персональной следящей информационной системы, которая устанавливается в единственном экземпляре только у заказчика (V.I.P.) и позволяет ему по мере необходимости получать на родном языке необходимую информацию;
    - корпоративная база знаний (следящая информационная система), которая проводит сбор информации об изменениях внешнего мира и классификацию полученных данных (наполнение систематизированного корпоративного хранилища текстов и иных объектов) с целью обеспечить регулярную доставку информации по компетенции или требованию персоналу компании, рассылку, визуализацию тенденций, многофакторный анализ и прогнозирование.
    Рассмотрим одну из задач, которая чаще всего стоит перед аналитиком - поиск аналогий. Чтобы решить эту проблему и правильно организовать сбор информации из открытых источников средствами Интернет, наиболее эффективна следующая последовательность действий:

         Результаты однажды выполненной работы можно и должно повторно использовать. В частности, большинство поисковых систем Интернет построены на так называемых CGI-интерфейсах. Это позволяет запоминать, например, в "Избранном" (Favorities) программы обозревателя ресурсов Интернет MS Internet Explorer или любой другой программы этого класса и многократно повторно использовать результаты поиска с конкретного поискового сервера по конкретному запросу и заданными условиями сортировки результатов.
     

    Общедоступные средства поиска
     
    1. Функция "закладки" обозревателя Интернет (MS Internet Explorer) с возможностью уведомления об изменениях на "избранных" страницах Интернет
    2. Подписка на запросы поисковых серверов Интернет с регулярной доставкой по электронной почте уведомлений о новых поступлениях в индекс поисковой системы, например, http://www.yandex.ru/subscribe.html
    3. Метапоисковые прикладные программы, обеспечивающие автоматическое направление по расписанию хранимых запросов на группу выбранных поисковых серверов (из 1500) типа "Copernic Agent Pro" http://www.copernic.com/
    4. Настольные программы для наблюдения за изменениями на страницах Интернет типа "Диско-Наблюдатель" http://www.disco.ru/russian/products/watchman.htm
    5. Многочисленные платные сервисы тематического мониторинга Интернет "Ленты" http://www.lenty.ru/monitoring.shtml или "Watch360 Systems Inc" http://www.watch360.com/watch360/index.do
     
    Типы информации, получаемой из открытых источников средствами Интернет
     
    Тип информации из открытых источников
    Пример разрешаемой проблемы
    Пример запроса
    Сведения создают базу для принятия решений. найти существующие классификаторы предпринимательских рисков Для русскоязычной поисковой системы общего назначения Рамблер http://www.rambler.ru/doc/advanced.shtml:

    (классификатор OR классификация OR классифицировать) AND (финансовые OR экономические OR информационные OR банковский) AND (риск OR рисковый OR угроза)

    Метаданные (данные о данных) позволяют получать нужные сведения вне Интернета нет времени бегать по магазинам и искать новые книги по защите информации. Для русскоязычной книжной метапоисковой системы http://findbook.ru/search/d1:

    защит информац (комментарий: в этом запросе даются начальные части слов)

    Методики позволяют оставаться профессионалом. как оценить и повысить уровень лояльности сотрудников предприятия? Для публичной Интернет-библиотеки

    (определение OR определять OR оценивать OR оценка OR повышать OR повышение OR развивать OR развитие)(степень OR уровень OR алгоритм OR метод OR методика OR модель OR подход OR практика OR принцип OR процедура OR система OR способ)((благонадежность OR благонадежный OR лояльность OR лояльный OR преданность)(директор OR наемный OR персонал OR работник OR руководитель OR служащий OR сотрудник) adj 4) within 15

    Эксперты в рамках сообществ по интересам, как правило, готовы поделиться с вами своим опытом и знаниями или выполнить конкретную работу.. кому поручить проверку безопасности корпоративного сайта? Для русскоязычной поисковой системы общего назначения Яндекс http://www.yandex.ru:

    (услуги|вызывать|оплатить|нанять)/3(взлом|взломать)/4(сайт|сервер|сервак)

    Ресурсы обеспечивают полноту сбора информации по проблеме и позволяют повысить актуальность и достоверность анализа; мониторинг специализированных источников информации о профилях конкурентов. Для глобальной поисковой системы общего назначения Google http://www.google.com:

    competitor OR competitors profile OR profiles OR profiling CI OR competitive-intelligence

    Средства позволяют сократить продолжительность рутинных операций и расширить возможности поиска за счет использования специализированных прикладных программ.. Для глобальной поисковой системы общего назначения AltaVista http://www.altavista.com/web/adv:

    (free OR freeware) NEAR ("command line" OR console) NEAR (email OR mail) NEAR (client OR utilities OR tools)

     

    Досье на предприятие
     

    Егорьевский завод асбестовых технических изделий

    Егорьевский завод АТИ (Егорьевск М.О.)

    Egorievsk Plant of Asbestos Technical Goods

    Почтовый: 140300, г.Егорьевск, Московской обл., промзона; Телетайп "КОЛЬЦО" 346486, факс 3-16-28;

    Отгрузочные: станция Егорьевск-1 Московской ж/д, код станции 233400, код завода 5952.

    Инн 5011000900, Код по ОКОНХ 13362, Код по ОКПО 00149373

    Сайт http://www.ezati.ru/

    Генеральный директор: Аксенов Игорь Михайлович, тел. 4-20-48

    Зам. директора по производству: Казаков Александр Петрович, тел. 4-34-81

    Начальник Коммерческого управления: Кустов Юрий Алексеевич, тел. 4-34-80 Бюро закупок и продаж: тел. 4-18-59, 5-08-49

    Бюро маркетинга: тел. 3-14-74, 5-08-51

    e-mail: ezati(at)mail.ruezati(at)rosmail.ru телефоны: 8-(код 096-40) 4-34-80, 3-14-74, 4-18-59, 5-08-38, 5-08-51

    Запросы для сбора и мониторинга информации о предприятии:
    Запрос № 1 для Яндекс (http://ya.ru)

    ((Егорьевский|Егорьевск) /3 (АТИ|асбестовых-технических-изделий)) | !ЕзАТИ | ((Egorievsk|Egorievsky) /3 "asbestos technical goods") | (телетайп /2 КОЛЬЦО /2 +346486)| (((Аксе-нов /2 Игорь-Михайлович)|(Казаков /2 Александр-Петрович)) && (Егорьевский|Егорьевск| !АТИ))

    Запрос № 2 для Яндекс (http://ya.ru)

    ezati|(+(096-40|09640|240) /3+(3-14-74|3-16-28|4-34-80|4-18-59|4-20-48|4-34-80|4-34-81|5-08-49|5-08-38|5-08-51|5-08-60|5-08-65|5-08-83|31474|31628|43480|41859|42048|43480|43481|50849|50838|50851|50860|50865|50883))

    Опубликовано по адресу: http://www.5186364.ru/search_find.htm
    Дата последнего редактирования 22.11.2016
    © Кузнецов Сергей Валентинович


    Сайты (Сергей Кузнецов / Кузнецов С.В.):
    Всепроникающее обучение
    Исследование рисков и поиск возможностей через Интернет
    Невидимый Интернет для бизнеса
    Технологии производства баз знаний
    Юридические исследования через Интернет
    Средства автоматизации вэб-поиска:
    Мастер поиска НТИ
    Поиск по шаблону на основе Мастера
    Классификационный поиск по шаблонам на основе Мастера
    Сценарий: Поиск рыночных ниш через Яндекс
    Сценарий: Выявление проблем через Яндекс
    Сценарий: Поиск определений через Яндекс
    Услуги (Сергей Кузнецов / Кузнецов С.В.):
    Тематический мониторинг открытых источников
    Профессиональный поиск информации
    Поиск и мониторинг ниш на рынках
    Технологические исследования через Интернет
    Очные компьютерные тренинги
    Дистанционное обучение
    Об авторе: Резюме Сергея Кузнецова
    Фотогалерея Сергея Кузнецова
    Публикации и работы Сергея Кузнецова
    Правила Сергея Кузнецова
    Мифы о Сергее Кузнецове
    Технологические работы Сергея Кузнецова
    В разработке