Инструменты слежения за изменениями по открытым источникам
Задачи, решаемые системой слежения за внешним миром
Краткое описание системы слежения
2. Сбор материалов для решения конкретной задачи
2. Ограничения. Бесплатный вариант персональной электронной газеты
Введение. Большая часть необходимой для профессиональной деятельности сообщества по интересам, компании, органа власти или иной структуры управления (далее - “Корпорация”) оперативной и стратегической информации может быть получена через Интернет. По последним оценкам ресурсы Всемирной Паутины составляют 550 млрд. индивидуальных документов (Invisible Web Gets Deeper), из которых 40% доступно бесплатно (OCLC Researchers Measure The World Wide Web, October, 16, 2000). Навигацию в этом многообразии обеспечивают более миллиона поисковых ресурсов Интернет (поисковые системы, каталоги, базы данных, подборки новостей ...). Парадокс состоит в том, что при грамотном использовании возможности бесплатных ресурсов существенно больше любой отдельно взятой коммерческой службы. Например, глобальная система баз данных Lexis-Nexis содержит всего 3 млрд. документов. Подробнее о проблемах недоступности информации в Сети см. Невидимый Интернет
Инструменты слежения за изменениями по открытым источникам. Перечислим четыре возможных варианта реализации службы слежения за внешним миром.
Задачи, решаемые системой слежения за внешним миром:
Краткое описание системы слежения. Для поддержки функционирования системы слежения за внешним миром (следящей информационной системы) в масштабе реального времени могут использоваться технологии принудительной доставки нужных материалов и автоматического классифицирования потока поступающих данных. Под принудительной доставкой информации понимаются нахождение и транспортировка из сети Интернет проблемно-ориентированных материалов или ссылок на них с минимальной задержкой с момента их опубликования.
Для создания корпоративной информационной системы могут использоваться разнообразные программные продукты для локальных и Интранет сетей, снабженные развитыми средствами поиска в текстах. Такой вариант позволяет в режиме реального времени проводитьавтоматическое классифицирование (содержательную сортировку) потока новых поступлений. Для этого с заданной периодичностью (например, каждые 10 минут) запускается на исполнение пакет поисковых запросов, обеспечивающих полную и точную содержательную сортировку поступивших новостей для всех рубрик корпоративного классификатора. Возможна моментальная рассылка отсортированной информации произвольному числу сотрудников Корпорации и, возможно, внешних подписчиков.
Программирование запросов поисковых систем Интернет и корпоративной подсистемы поиска (фильтрации новостей) ведется с использованием оригинального комплекса методов извлечения знаний из потока текстов.
История разработки. Комплекс методов извлечения знаний из массивов и потоков текстов был разработан в 1996 году для русскоязычных материалов с использованием поисковой системы “Артефакт”. В 1999 году выполнена его адаптация для русского сегмента Интернет с использованием поискового сервера “Яндекс”. Последним штрихом было создание в 2000 году технологии выявления данных на любых языках, относящихся к рубрике классификатора, с использованием любых поисковых систем.
В 1998 году разработаны технология и методы проектирования исчерпывающих классификаторов (древовидных или иерархических и многомерных или фасетных). Такие классификаторы полностью покрывают содержательное разнообразие текстов о проблемной области. В 1999 году исследована возможность построения речевого доступа (диалог на естественном языке) через классификатор к базе данных с возможностью выдачи потребителю информации о решении проблемы с заданной степенью логического обобщения. На примере Федерального закона "О государственный пенсиях в РСФСР" реализован его работающий макет.
Проблема языкового барьера снята в 2000 году. Обеспечивается бесплатный машинный перевод на русский и с русского для следующих 29 языков и их разновидностей: английский, болгарский, венгерский, голландский, греческий, датский, исландский, испанский, испанский (Европа), испанский (Латинская Америка), итальянский, немецкий, норвежский, польский, португальский, португальский (Бразилия), румынский, сербский, словацкий, уэльский, филиппинский, финский, французский, хорватский, чешский, шведский и японский. В 2008 году введены в эксплуатацию средства оперативной работы по открытым источникам на 110 официальных языках.
В состав комплекса входят прикладные методы уточнения смысла терминов, нахождения конкретных и абстрактных объектов, поиска решений по аналогии, выявления противоречий, формирования реестра прав и обязанностей субъектов, исчерпания многообразия ситуаций, систематизации знаний о решаемой проблеме и документирования знаний. Внедрение комплекса проводится путем интенсивного ситуационного обучения персонала заказчика в очном или дистанционном вариантах (через Интернет).
|
|
||
|
|||
1.1 |
Некоммерческая персональная электронная газета |
|
|
1.2 |
Коммерческий вариант персональной электронной газеты (русский язык, 10 ресурсов Интернет). |
|
|
1.3 |
Коммерческий вариант персональной электронной газеты (английский язык, 10 ресурсов Интернет). |
|
|
1.4 |
Коммерческий вариант персональной электронной газеты (один европейский язык, кроме английского, 10 ресурсов Интернет). |
|
|
1.5 |
Коммерческий вариант персональной электронной газеты (один официальный язык, кроме европейских и английского, 10 ресурсов Интернет). |
|
|
1.6 |
Включение в персональную электронную газету одного дополнительного проблемно-ориентированного ресурса Интернет для того же языка и страны (исчисляется от цены пп. 1.2-1.5). |
|
|
1.7 |
Еженедельная доставка новых материалов с 10 лучших проблемно-ориентированных ресурсов Интернет (поисковые сервера, каталоги, базы данных, подборки новостей …). |
|
|
1.8 |
Изменение частоты доставки персональной электронной газеты и числа ресурсов (доставка раз в месяц с 10 ресурсов будет дешевле еженедельной в 4 раза, т.е. всего 6 евро за год). |
|
|
|
|||
2.1 |
Однократный сбор по бесплатным открытым источникам всех русскоязычных материалов для решения поставленной заказчиком проблемы или о конкретном объекте (персона, предприятие, товар, оборудование, географический объект...) |
|
|
2.2 |
Однократный сбор по бесплатным открытым источникам всех русскоязычных аналитических материалов для решения поставленной заказчиком проблемы или о конкретном объекте (персона, предприятие, товар, оборудование, географический объект...). Аналитических материалов, как правило, раз в сто меньше, чем текстов с упоминаниями объекта интереса или проблемной ситуации. |
|
|
2.3 |
Однократный сбор по бесплатным открытым источникам всех англоязычных материалов для решения поставленной заказчиком проблемы или о конкретном объекте (персона, предприятие, товар, оборудование, географический объект...). |
|
|
2.4 |
Однократный сбор по бесплатным открытым источникам аналитических материалов на английском языке для решения поставленной заказчиком проблемы или о конкретном объекте (персона, предприятие, товар, оборудование, географический объект...). |
|
|
2.5 |
Однократный сбор по бесплатным открытым источникам всех материалов на одном европейском языке, кроме английского, для решения поставленной заказчиком проблемы или о конкретном объекте (персона, предприятие, товар, оборудование, географический объект...). |
|
|
2.6 |
Однократный сбор по бесплатным открытым источникам аналитических материалов на одном европейском языке, кроме английского, для решения поставленной заказчиком проблемы или о конкретном объекте (персона, предприятие, товар, оборудование, географический объект...). |
|
|
2.7 |
Однократный сбор по бесплатным открытым источникам всех материалов на одном официальном языке, кроме европейских и английского, для решения поставленной заказчиком проблемы или о конкретном объекте (персона, предприятие, товар, оборудование, географический объект...). |
|
|
2.8 |
Однократный сбор по бесплатным открытым источникам аналитических материалов на одном официальном языке, кроме европейских и английского, для решения поставленной заказчиком проблемы или о конкретном объекте (персона, предприятие, товар, оборудование, географический объект...). |
|
|
3. Поисковые запросы, шаблоны, формулы поисковых запросов, сценарии поиска для решения поставленной заказчиком проблемы |
|||
3.1 |
Русский язык: для одной из следующих поисковых систем: Яндекс http://www.yandex.ru; Рамблер http://www.rambler.ru; для Convera http://www.public.ru (Публичная Интернет-библиотека); Артефакт http://www.integrum.ru (Агентство "Интегрум") |
|
|
3.2 |
Русский язык: для всех перечисленных поисковых систем: Яндекс http://www.yandex.ru; Рамблер http://www.rambler.ru; для Convera http://www.public.ru (Публичная Интернет-библиотека); Артефакт http://www.integrum.ru (Агентство "Интегрум") |
|
|
3.3 |
Русский язык: для одной из следующих поисковых систем:Google http://www.google.com; Bing http://www.bing.com. |
|
|
3.4 |
Русский язык: для всех перечисленных поисковых систем: Google http://www.google.com; Bing http://www.bing.com. |
|
|
3.5 |
Русский язык: для всех перечисленных поисковых систем: Google http://www.google.com; Bing http://www.bing.com; Яндекс http://www.yandex.ru; Рамблер http://www.rambler.ru; для Convera http://www.public.ru (Публичная Интернет-библиотека); Артефакт http://www.integrum.ru (Агентство "Интегрум") |
|
|
3.6 |
Английский язык: для одной из следующих Google http://www.google.com; Bing http://www.bing.com. |
|
|
3.7 |
Английский язык: для всех перечисленных поисковых систем: Google http://www.google.com; Bing http://www.bing.com. |
|
|
3.8 |
Европейский язык (кроме английского): для одной из следующих поисковых систем: Google http://www.google.com; Bing http://www.bing.com. |
|
|
3.9 |
Европейский язык (кроме английского): для всех перечисленных поисковых систем: Google http://www.google.com; Bing http://www.bing.com. |
|
|
3.10 |
Любой официальный язык для любой поисковой системы |
|
|
|
|||
4.1 |
Оперативное разрешение проблем заказчика с использованием Интернет |
|
|
4.2 |
Подготовка аналитического обзора по поставленной проблеме, персоне, предприятии или ином конкретном объекте, выявление пробелов и противоречий предметной области (юридический, предпринимательские риски, технологии, патенты, маркетинговый ...). |
|
|
4.3 |
Проектирование классификаторов проблемной области, производство систем автоматического поиска и классифицирования массивов и потоков текстов на русском и других официальных языках. |
|
|
4.4 |
Нормированная работа в офисе заказчика |
|
|
4.5 |
Научно-технологический поиск и мониторинг |
|
|
4.6 |
Поиск ниш на рынках |
от недели |
Обсуждается |
|
|||
5.1 |
Бесплатное обучение по любой теме (2-4 часа дистанционное или очное для корпоративного заказчика в пределах СНГ). |
Бесплатно, т.е. даром |
|
5.2 |
Личное обучение (коучинг) по любой теме (тренинги по 2-4 часа дистанционные или очные у заказчика в пределах СНГ). |
|
|
5.3 |
Краткосрочные бизнес-семинары и корпоративные тренинги по любой теме (дистанционное или очное у заказчика в пределах СНГ). |
|
Ограничения. Бесплатный вариант персональной электронной газеты (строка 1.1) доступен компаниям с персоналом не менее 50 человек и предполагает доставку только новой информации по одной проблеме на любом из двух языков (русский или английский) раз в неделю в течение одного квартала. Ограничения: используется не более десятка ресурсов Интернет; электронная газета не поставляется в бесплатные почтовые ящики и разные почтовые ящики одной организации. В отдельных случаях допускается подписка на уже существующие персональные электронные газеты в платные почтовые ящики частных лиц и организаций. Персональная электронная газета - это регулярно доставляемое Вам по электронной почте письмо с zip-архивом объема до 60 Кб. В таком архиве находятся либо полные тексты, либо подборки аннотированных ссылок на новые материалы по интересующей Вас проблеме.
Показ, бесплатное обучение и методические материалы - бесплатно. Заказать! |
Инструменты слежения за изменениями по открытым источникам
Задачи, решаемые системой слежения за внешним миром
Краткое описание системы слежения
2. Сбор материалов для решения конкретной задачи
2. Ограничения. Бесплатный вариант персональной электронной газеты
Опубликовано по адресу: http://www.5186364.ru/spying0.htm
Дата последнего редактирования 23.10.2023
© Кузнецов Сергей Валентинович