Что называют поисковой системой

Поисковая система

Поиско́вая систе́ма — программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс (фронт-энд) системы. Программной частью поисковой системы является поисковая машина (поисковый движок) — комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы.

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Улучшение поиска — это одна из приоритетных задач современного Интернета (см. про основные проблемы в работе поисковых систем в статье Глубокая паутина).

По данным компании Net Applications, [1] в ноябре 2011 года использование поисковых систем распределялось следующим образом:

Содержание

История

Одним из первых инструментов поиска в интернете (до Всемирной паутины) был Archie.

Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» — бот, разработанный Мэтью Грэем (англ. Matthew Gray ) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала [2] с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.

Популярные поисковые системы

Согласно данным LiveInternet в 2012 году об охвате русскоязычных поисковых запросов:

Некоторые из поисковых систем используют внешние алгоритмы поиска. Так, Qip.ru использует поисковый механизм Яндекса, а Nigma сочетает в себе как свой алгоритм, так и сборную выдачу от других поисковиков.

Необычные поисковые системы

См. также

Примечания

Литература

Ссылки

Ask.com (Ask Jeeves, механизм Teoma) • Blekko • Cuil (закрыт) • DuckDuckGo • Exalead • Gigablast • Google • Bing (Live Search/MSN Search) • Yahoo! Search (Inktomi • AltaVista • Alltheweb) • Яндекс

AskNet.ru • Brainboost • Clusty • Dogpile • FarSEER • exactus.ru • Excite • HotBot • Info.com • Ixquick • Krozilo • Mamma • Metacrawler • MetaLib • Нигма • Myriad Search • SideStep • Surfwax • Turbo10 • WebCrawler • GlobalFileSearch

DataparkSearch • Egothor • Gonzui • Grub • Ht://dig • locust • Isearch • Lucene • Lemur Toolkit & Indri Search Engine • mnoGoSearch • Namazu • Nutch • OpenFTS • Sciencenet (научная, на технологии YaCy) • Wikia Search • Sphinx • SWISH-E • Terrier Search Engine • Xapian • YaCy • Zettair

AGAKIDS (Россия) • Ask Kids (Великобритания) • Frag Finn (Германия) • Kids AOL (США) • Kids Yahoo! (США) • Quintura Дети (Россия) • Семейный Яндекс (Россия) • Гогуль (Россия)

Источник

Поисковые системы

Поисковые системы (ПС) уже давно являются обязательной частью интернета и нашей повседневной жизни. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.

Функции и понятие ПС

Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.

Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Туле»).

Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. Приучить же пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Основные характеристики поисковых систем

Полнота.

Точность.

Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

Актуальность.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска.

Наглядность.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

История развития поисковых систем

Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.

Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.

Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самым известным и большим каталогом в мире был DMOZ (прекратил работу 14 марта 2017 года) имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.

Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.

В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.

В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.

В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.

Доля поисковых систем

Принципы работы поисковой системы

Модуль индексирования.

Данный компонент состоит из трех программ-роботов:

Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.

«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.

Crawler, исследуя найденные ссылки, ищет новые документы, еще не ставшие известными поисковой системе.

Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.

Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.

Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.

Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.

База данных

Поисковый сервер

Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.

Источник

Поисковая система

Для поиска информации с помощью поисковой системы пользователь формулирует поисковый запрос. Работа поисковой системы заключается в том, чтобы по запросу пользователя найти документы, содержащие либо указанные ключевые слова, либо слова, как-либо связанные с ключевыми словами. При этом поисковая система генерирует страницу результатов поиска. Такая поисковая выдача может содержать различные типы результатов, например: веб-страницы, изображения, аудиофайлы. Некоторые поисковые системы также извлекают информацию из подходящих баз данных и каталогов ресурсов в Интернете.

Поисковая система тем лучше, чем больше документов, релевантных запросу пользователя, она будет возвращать. Результаты поиска могут становиться менее релевантными из-за особенностей алгоритмов (см. «Пузырь фильтров») или вследствие человеческого фактора. По состоянию на 2015 год самой популярной поисковой системой в мире является Google, однако есть страны, где пользователи отдали предпочтение другим поисковикам. Так, например, в России «Яндекс» обгоняет Google больше, чем на 10 %.

По методам поиска и обслуживания разделяют четыре типа поисковых систем: системы, использующие поисковых роботов, системы, управляемые человеком, гибридные системы и мета-системы. В архитектуру поисковой системы обычно входят:

* поисковый робот, собирающий информацию с сайтов сети Интернет или из других документов,

* индексатор, обеспечивающий быстрый поиск по накопленной информации, и

поисковик — графический интерфейс для работы пользователя.

Источник

Какие бывают типы поисковых систем?

Что такое поисковая машина?

Цель поисковой системы — извлечь запрашиваемую информацию из огромной базы данных ресурсов, доступных в Интернете. Поисковые системы становятся важным повседневным инструментом для поиска необходимой информации, даже не зная, где именно она хранится. Использование Интернета в последние дни значительно возросло с появлением простых в использовании поисковых систем, таких как Google, Bing и Yahoo! Существуют разные типы поисковых систем, которые могут получить нужную информацию. В этой статье мы объясним различные типы поисковых систем и их назначение.

Популярные поисковые системы

Почему поисковые системы важны?

Поисковые системы являются частью повседневной жизни двух типов людей.

Пользователь выполняет более миллиардов поисков только в Google, чтобы найти релевантную информацию. Это открывает перед предприятиями и издателями онлайн-контента огромные возможности для бесплатного привлечения людей на свои веб-сайты. Поисковые системы следуют рекомендациям и имеют собственный алгоритм определения рейтинга веб-сайтов в результатах поиска. Оптимизация веб-сайтов для Google и других поисковых систем является неотъемлемой частью любого владельца веб-сайта для охвата большой аудитории. Посетители могут приносить доход владельцам сайтов либо за счет рекламы, отображаемой на сайте, либо за счет покупки продуктов.

Различные типы поисковых систем

Поисковые системы делятся на следующие три категории в зависимости от того, как они работают.

Давайте подробно обсудим все типы поисковых систем в следующих разделах.

1. Поисковые системы на основе краулеров

Все поисковые системы на основе краулеров используют краулеров, ботов или пауков для сканирования и индексации нового контента в базе данных поиска. Есть четыре основных шага, которым следуют все поисковые системы на основе краулера, прежде чем отображать какие-либо сайты в результатах поиска.

1.1. ползком

Поисковые системы ползать всю сеть, чтобы получить доступные веб-страницы. Часть программного обеспечения под названием гусеничный трактор или бот или паук выполняет сканирование всей сети. Частота сканирования зависит от поисковой системы, и между сканированиями может пройти несколько дней. Это причина, по которой иногда вы можете видеть, что содержимое вашей старой или удаленной страницы отображается в результатах поиска. В результатах поиска будет отображаться новое обновленное содержание, как только поисковые системы снова просканируют ваш сайт.

1.2. индексирование

индексирование — это следующий шаг после сканирования, который представляет собой процесс определения слов и выражений, которые лучше всего описывают страницу. Идентифицированные слова называются ключевыми словами, и страница назначается идентифицированным ключевым словам. Иногда, когда сканер не понимает смысла вашей страницы, ваш сайт может занимать более низкую позицию в результатах поиска. Здесь вам нужно оптимизировать свои страницы для роботов поисковых систем, чтобы контент был легко понятен. Как только сканеры подберут правильные ключевые слова, ваша страница будет назначена этим ключевым словам и будет занимать высокие позиции в результатах поиска.

1.3. Расчет релевантности

Поисковая система сравнивает строку поиска в поисковом запросе с проиндексированными страницами из базы данных. Так как строка поиска может содержаться более чем на одной странице, поисковая система запускает расчет релевантности каждой страницы в своем индексе со строкой поиска.

Существуют различные алгоритмы расчета релевантности. Каждый из этих алгоритмов имеет разные относительные веса для общих факторов, таких как плотность ключевых слов, ссылки или метатеги. Вот почему разные поисковые системы предоставляют разные страницы результатов для одной и той же поисковой строки. Как известно, все основные поисковые системы периодически меняют свои алгоритмы. Если вы хотите, чтобы ваш сайт оставался на вершине, вам также необходимо адаптировать свои страницы к последним изменениям. Это одна из причин посвятить постоянные усилия SEO, если вы хотите быть на вершине.

1.4. Получение результатов

Последний шаг в деятельности поисковых систем — получение результаты. По сути, он просто отображает их в браузере по порядку. Поисковые системы сортируют бесконечные страницы результатов поиска в порядке от наиболее релевантных до наименее релевантных сайтов.

Примеры поисковых систем на основе сканеров

Большинство популярных поисковых систем основаны на поисковых машинах, использующих краулеры, и используют вышеуказанную технологию для отображения результатов поиска. Пример поисковых систем на основе сканера:

Помимо этих популярных поисковых систем, есть много других поисковых систем, основанных на гусеницах, таких как DuckDuckGo, AOL и Ask.

2. Справочники, созданные человеком

Справочники, управляемые человеком, также называемые открытой системой каталогов, зависят от действий человека для списков. Ниже показано, как работает индексация в каталогах, управляемых человеком:

Yahoo! Directory и DMOZ были прекрасными примерами каталогов, управляемых человеком. К сожалению, автоматизированные поисковые системы, такие как Google, вытеснили из Интернета все эти поисковые системы в стиле каталогов, управляемые людьми.

3. Гибридные поисковые системы

Гибридные поисковые системы используют индексирование как на основе сканера, так и вручную для включения сайтов в результаты поиска. Большинство поисковых систем на основе сканеров, таких как Google, в основном используют сканеры в качестве основного механизма, а каталоги, управляемые людьми, в качестве вторичного механизма. Например, Google может взять описание веб-страницы из справочников, управляемых человеком, и отобразить его в результатах поиска. По мере того, как каталоги, управляемые людьми, исчезают, гибридные типы становятся все более и более поисковыми системами на основе поисковых роботов.

Но все же есть ручная фильтрация результатов поиска, чтобы удалить скопированные и спамерские сайты. Когда сайт идентифицируется на предмет рассылки спама, владелец сайта должен предпринять корректирующие действия и повторно отправить сайт в поисковые системы. Эксперты вручную проверяют представленный сайт, прежде чем снова включить его в результаты поиска. Таким образом, хотя поисковые роботы управляют процессами, управление осуществляется вручную для отслеживания и естественного отображения результатов поиска.

4. Другие типы поисковых систем

Помимо трех вышеупомянутых основных типов, поисковые системы можно разделить на многие другие категории в зависимости от использования. Ниже приведены некоторые из примеров:

Заключение

В первые дни Интернета поисковые машины, работающие на людях, были популярным и важным источником информации. Технологический мир очень быстро движется в сторону автоматизации и искусственного интеллекта. Крупные технологические компании, такие как Google и Microsoft, которым принадлежат популярные поисковые системы, продвигают эти изменения и извлекают из них выгоду. Ни одна из поисковых систем, управляемых людьми, не смогла пережить этот быстрый сдвиг. Хотя люди используют специальные поисковые системы в очень малых масштабах, в этот момент искусственные поисковые машины или поисковые машины на основе поисковых роботов действуют как основной источник информации с минимальным вмешательством человека.

Источник