Когнитивный поиск

Когнитивный поиск (с лат. cognitio «познание, осознание») — технология поиска связей между объектами с помощью когнитивных вычислений, которые распознают контекст, релевантность, намерение и интерес. Для когнитивного поиска используется как объективная, так и субъективная оценка предмета поиска.

Наличие когнитивного поиска является одним из базовых элементов при создании когнитивных системы. Для реализации когнитивного поиска предлагается рассматривать систему как автономный регистратор событий, автоматически выстраивающий связи между ними с использованием предыдущего опыта.

Особенности когнитивного поиска

— Понимание данных любых форматов (в том числе аудио, видео, текст, изображение и т. д.). Когнитивные поисковые решения подключаются и получают данные из разных источников. Поиск происходит в структурированном и неструктурированном контенте.

— Обработка больших данных. Крупные организации имеют множество различных приложений, которые могут генерировать петабайты данных.

— Понимание естественного языка и машинное обучение для обработки и организации данных, прогнозирования намерения поискового запроса, улучшения релевантности результатов.

— Возможность создавать собственные поисковые приложения.

Алгоритм реализации когнитивного поиска

Когнитивная система способна за считанные секунды обрабатывать огромные массивы информации для получения правильного ответа, рассмотрим порядок действий, которые она выполняет в процессе поиска:

1. Получение запроса и выполнение его синтаксического анализа для выделения особенностей.

2. Генерация ряда гипотез и поиск фраз, содержащих с определённой долей вероятности необходимый ответ.

3. Глубокое сравнение языка вопроса и языка каждого из возможных вариантов ответа, применяя различные алгоритмы логического вывода. Алгоритмы логического вывода могут выполнять поиск совпадающих терминов и синонимов, рассматривать временные и пространственные особенности, а также, анализировать подходящие источники контекстуальной информации.

4. Выставление каждым алгоритмом логического вывода одной или несколько оценок, показывающих, в какой степени возможный ответ следует из запроса, в той области, которая рассматривается данным алгоритмом.

5. Присвоение весового коэффициента каждой выставленной оценке по статистической модели, которая фиксирует, насколько успешно справился алгоритм с выявлением логических связей между двумя аналогичными фразами. Эта статистическая модель может быть использована впоследствии для определения общего уровня уверенности системы в том, что возможный вариант ответа следует из запроса.

6. Процесс повторяется для каждого варианта ответа до тех пор, пока не будут найдены ответы, которые будут иметь больше шансов оказаться правильными, чем остальные.

Для правильного ответа на вопрос системе необходимо обращаться к дополнительным источникам данных. Это могут быть учебники, мануалы, новости и подобное.

Эволюция поисковых технологий

В 2017 году аналитическая компания, которая занимается исследованиями рынка информационных технологий, Forrester Research, сообщает о когнитивном поиске, который активно используют ИТ-компании. Когнитивный поиск — это новое поколение поисковых систем предприятия, которое использует искусственный интеллект для получения результатов, которые более релевантные для пользователя.

Впервые о технологиях поиска заговорили в 1996 году. В то время, она сводилась к нахождению словесных совпадений, компания Google создала алгоритм, обеспечивающий ценность определённых ключевых слов. Самый ранний алгоритм поиска Googlе просматривал веб-сайты, чтобы увидеть, как часто появляется ключевое слово, поэтому чем чаще слово встречалось, тем выше становился сайт в ранжировании поиска.

В 2003 году на Консорциуме Всемирной паутины была упомянута теория семантического поиска. Переход от теории к практике занял некоторое время, 10 лет спустя, в 2013 году, произошел первый крупный прорыв в области семантического поиска для рядовых пользователей. Был создан алгоритм поиска «Колибри». Семантическая поисковая оптимизация отличалась тем, что предоставляла результат, основанный на множестве факторов, а не только на нескольких словах запроса.

Следующей технологией поиска стал — контекстный. Его основной формой является процесс сканирования полнотекстового запроса, чтобы понять, что нужно пользователю. Веб-поисковые системы просматривают HTML — страницы для контента и возвращают рейтинг индекса в зависимости от того, насколько релевантное содержание введенного запроса.

Вендоры рынка когнитивного поиска

По результатами исследования компании Forrester Research, в 2017 году на рынке присутствуют девять основных поставщиков ИТ-услуг, предоставляющих возможность когнитивного поиска: Attivio, Сoveo, HPE IDOL (со второй половины 2017 разработка принадлежит Micro Focus), IBM, Lucidworks, Mindbreeze, Еlastic.сo, Sinequa, and Squirro.

Лидерами рынка являются:

По даным исследования Forrest Research, высшую позицию занимает поисковая платформа IDOL. Она может анализировать всевозможные форматы из любых источников. IDOL поддерживает интенсивную аналитику текста, речи, изображений и видео. Платформа IDOL способна выявлять массивы дополнительной информации об объектах исследования, включая имена, адреса, информацию о кредитной карте, настроение, намерения и т. п. Самые последние усовершенствования IDOL в 2017 году включают возможность ответа на вопрос, которую разработчики могут использовать для создания чатов или виртуальных помощников. Комплексные возможности и настройка платформы могут привести к сложной реализации, но компания работает над упрощением установки для случаев общего использования. IDOL уже использует: Dubai police, the Olympic Games Security Committee, British Airports Authority, Boeing, Toyota, General Motors, BMW, Canon, KPMG, BBC

Ключевой особенностью поисковой платформы Coveo является релевантность выдачи. Coveo’s R&D фокусируется на использовании расширенной аналитики и машинного обучения для автоматического изучения поведения отдельных пользователей и выдачи им наиболее релевантных результатов. Сoveo также глубоко интегрируется с Salesforce и может быстро подключать клиентов к облаку. Компания добилась значительных успехов в предоставлении контекстно-зависимого поиска таким технологическим компаниям как: Adobe, Logitech и Salesforce, Brocade Communications Systems, the Hershey Company, TIBCO Software.

Sinequa’s NLP — это путь к познавательному пониманию. Большинство поставщиков поисковых систем начинают индексирование, а затем продвигаются в контентную аналитику. Эта компания начала с NLP, потому что понимание, как поискового запроса, так и контента является ключом к поиску релевантных данных и обнаружению знаний. В дополнение к аналитике NLP и анализу контента решения Sinequa решение интегрируется с Apache Spark, чтобы использовать расширенную аналитику в программах с открытым исходным кодом. Sinequa специализируется на разработке поисковых приложений, которые встраиваются в важнейшие бизнес-процессы в таких отраслях, как фармацевтика, обслуживание самолётов и финансовые услуги. Клиентами компании являются Airbus Group, AstraZeneca, Biogen, Engie, Mercer, and Nasdaq.

Attivio создает комплексные поисковые приложения. В дополнение к расширенной аналитике и компьютерному обучению, которые необходимы для поисковой платформы, Attivio предоставляет клиентам шаблоны решений, такие как управление знаниями, борьба с отмыванием денег, клиент 360 (Knowledge management, Anti-money laundering, Customer 360) и т. д. Уникальной особенностью Attivio является способность разработчиков использовать структурированный язык запросов (SQL). Клиентами Attivio являются Citi, Cisco Systems, HSBC, Sikorsky Aircraft, and Thermo Fisher Scientific.