1. ВведеніеОсновние протоколи, що використовуються в Інтернет (надалі також Мережа),
не забезпечені достатніми вбудованими функціями пошуку, не кажучи вже про мільйони
серверах, що знаходяться в ній. Протокол HTTP, що використовується в Інтернет, хороший
лише стосовно навігації, що розглядається лише як засіб перегляду
сторінок, але не їх пошуку. Те ж саме відноситься і до протоколу FTP, який
навіть більш примітивний, ніж HTTP. Через швидке зростання джерел інформації в Мережі,
навігаційні методи перегляду швидко досягають межі їх функціональних
можливостей, не кажучи вже про межі їх ефективності. Чи не вказуючи конкретних
цифр, можна сказати, що потрібну інформацію вже не представляється можливим отримати
відразу, так як в Мережі зараз знаходяться мільярди документів і всі вони в розпорядженні
користувачів Інтернет, до того ж сьогодні їх кількість зростає відповідно до
експоненційної залежності. Кількість змін, яким ця інформація
піддана, величезне і, найголовніше, вони сталися за дуже короткий період
часу. Основна проблема полягає в тому, що єдиної повної функціональної
системи оновлення та занесення подібного обсягу інформації, одночасно доступного
всім користувачам Інтернет в усьому світі, ніколи не було. Для того, щоб
структурувати інформацію, накопичену в мережі Інтернет, і забезпечити її користувачів
зручними засобами пошуку необхідних їм даних, були створені пошукові
системи. 2. Пошукові сістемиПоісковие Системи зазвичай складаються з трьох компонентів:
* Агент (павук або кроулер), що пересувається по Мережі і збирає інформацію;
* База даних, яка містить всю інформацію, яка збирається павуками; *
пошуковий механізм, який люди використовують як інтерфейс для взаємодії з
базою даних. 2.1. Як працюють механізми поіскаCредства пошуку і структуризації,
ще часто називають пошуковими механізмами, що використовуються для того, щоб допомогти
людям знайти інформацію, якої вони потребують. Засоби пошуку типу агентів,
павуків, кроулеров і роботів використовуються для збору інформації про документи,
перебувають у Мережі Інтернет. Це спеціальні програми, які займаються пошуком
сторінок в Мережі, витягають гіпертекстові посилання на цих сторінках і автоматично
індексують інформацію, яку вони знаходять для побудови бази даних.
Кожен пошуковий механізм має власний набір правил, що визначають, як cобірать
документи. Деякі слідують за кожною посиланням на кожної знайденої сторінці
і потім, у свою чергу, досліджують кожне посилання на кожній з нових сторінок,
і так далі. Деякі ігнорують посилання, які ведуть до графічним і звуковим
файлів, файлів мультиплікації; інші ігнорують Посилання до ресурсів типу баз
даних WAIS; інші проінструктірова-ни, що потрібно переглядати насамперед
найбільш популярні сторінки. * Агенти - найбільш "інтелектуальні" з пошукових
коштів. Вони можуть робити більше, ніж просто шукати: вони можуть виконувати навіть транзакції
від Вашого імені. Вже зараз вони можуть шукати Сайти специфічної тематики
і повертати списки cайтов, відсортованих за їх відвідуваності. Агенти можуть
обробляти вміст документів, знаходити та індексувати інші види ресурсів,
не лише сторінки. Вони можуть також бути запрограмовані для витягання
інформації з уже існуючих баз даних. Незалежно від інформації, яку
агенти індексують, вони передають її назад базі даних пошукового механізму. *
Загальний пошук інформації в Мережі здійснюють програми, відомі як павуки. Павуки
повідомляють про зміст знайденого документа, індексують його та отримують підсумкову
інформацію. Також вони переглядають заголовки, деякі посилання та посилають
проіндексовану інформацію базі даних пошукового механізму. * Кроулери дивляться
заголовки і вирощує тільки перше посилання. * Роботи можуть бути запрограмовані
так, щоб переходити по різним власний кореспондент різної глибини вкладеності,
виконувати індексацію і навіть перевіряти посилання в документі. Через їх природи
вони можуть застрявати в циклах, тому, проходячи за посиланнями, їм потрібні значні
ресурси Мережі. Проте, є методи, призначені для того, щоб заборонити
роботам пошук по сайтах, власники яких не бажають, щоб вони були проіндексовані.
Агенти витягують і індексують різні види інформації. Деякі,
наприклад, індексують кожне окреме слово зустрічається у документі,
в той час як інші індексують лише найбільш важливі 100 слів у кожному, індексують
розмір документу і кількість слів у ньому, назву, заголовки і підзаголовки
і так далі. Вигляд побудованого індексу визначає, який пошук може бути зроблений
пошуковим механізмом та як отримана інформація буде інтерпретована. Агенти
можуть також переміщатися по Інтернет і знаходити інформацію, після чого поміщати
її в базу даних пошукового механізму. Адміністратори пошукових систем можуть
визначити, які сайти або типи сайтів агенти повинні відвідати і проіндексувати.
Проіндексована інформація надсилається базі даних пошукового механізму
так само, як було описано вище. Люди можуть розміщувати інформацію прямо в індекс,
заповнюючи особливу форму для того розділу, в який вони хотіли б розмістити свою
інформацію. Ці дані передаються базі даних. Коли хто-небудь хоче знайти інформацію,
доступну в Інтернет, він відвідує сторінку пошукової системи і заповнює
форму, що деталізує інформацію, яка йому необхідна. Тут можуть використовуватися
ключові слова, дати та інші критерії. Критерії в формі пошуку повинні
відповідати критеріям, які використовуються агентами при індексації інформації, яку
вони знайшли при переміщенні по Мережі. База даних відшукує предмет запиту,
заснований на інформації, зазначеної в заповненій формі, і виводить відповідні
документи, підготовлені базою даних. Щоб визначити порядок, в якому
список документів буде показано, база даних застосовує алгоритм ранжування.
В ідеальному випадку, документи, найбільш релевантні для користувача запитом
будуть поміщені першими у списку. Різні пошукові системи використовують різні
алгоритми ранжування, однак основні принципи визначення релевантності
наступні: 1. Кількість слів запиту в текстовому вмісті документу (тобто в
html-коді). 2. Теги, в яких ці слова розташовуються. 3. Розташування шуканих
слів у документі. 4. Питома вага слів, щодо яких визначається релевантність,
в загальній кількості слів документа. База даних виводить ранжируваних
подібним чином список документів з HTML і повертає його людині, що зробив
запит. Різні пошукові механізми також вибирають різні способи показу
отриманого списку - деякі показують тільки посилання, інші виводять Посилання
c першими кількома пропозиціями, що містяться в документі або заголовок
документа разом з ccылкой. Коли Ви натискаєте на засланні до одного з документів,
який вас цікавить, цей документ запитується у того сервера, на якому
він знаходиться. 2.2 Порівняльний огляд пошукових сістем2.2.1 Пошукова система
Рамблер Пошукова система містить інформацію про більш ніж 12 мільйони документів,
розташованих на серверах Росії і країн СНД. Рамблер обробляє щодоби
не менше 500 тисяч пошукових запитів (в середньому - 5 запитів в секунду), скануючи
48 тисяч web-серверів і використовуючи кілька одночасно працюючих програм-роботів.
Пошукові слова Запит може складатися з одного або декількох слів,
розділених пробілами. Можуть бути використані як російські, так і англійські
слова та словосполучення. За замовчуванням знаходяться тільки ті документи, в яких
зустрілися всі введені Вами слова. Щоб знайти документи, що містять хоча
б одне слово із запиту, використовуйте логічну зв'язку Or (див. нижче) або виберіть
на сторінці детального запиту: "Слова запиту: будь-яке". Щоб виключити документи,
що містять ті чи інші слова, вкажіть на сторінці детального запиту: "Виключити
документи, що містять такі слова ...". Регістр Все одно, з якою
літери написані слова запиту: з великої чи з маленької. І при побудові індексу,
і при пошуку за запитом усі великі (великі) букви "знижуються". Логіка
зв'язки Слова для пошуку можуть бути з'єднані логічними зв'язками And ( "і"),
Or ( "або"). Замість зв'язок (або в поєднанні з ними) можуть використовуватися також
символи'','|'. Логіка групи Частини запиту можуть бути згруповані за допомогою
круглих дужок (). Можлива багаторазова вкладеність дужок у поєднанні з
логічними операторами. Словоформи Рамблер вміє шукати слова у всіх формах (наприклад,
амінокислота, амінокислоти, амінокислотою і т. д.). Щоб слово знаходилося
у всіх формах, перед ним треба поставити службовий символ '#'. У меню детального
запиту такий режим може бути включений для всіх слів: "Розширення запиту:
всі форми слів ". Службовий символ '@' перед словом дозволяє знаходити не тільки
саме це слово, але й однокореневі слова. У меню детального запиту символу
'@' Відповідає режим "Розширення запиту: всі однокореневі". Усічення слів
За замовчуванням наша система шукає слова запиту так, як Ви їх ввели, щоб зменшити
"шум" в знайдених документах. Якщо Ви не пам'ятаєте, як пишеться слово, чи хочете
розширити запит, можна використовувати метасимволи '*' та '?' для позначення
довільній частині слова і довільного символу. Пошук в частині документа Обмежити
пошук частинами документів, такими як назва документа, його заголовок,
URL і т.п., можна через меню детального запиту "Шукати в ...". Мова документів
Можна обмежити пошук документами тільки російською або тільки англійською мовою.
Для цього треба вибрати відповідний режим в меню детального запиту "Мова
документа ...". За умовчанням пошук виконується за документами на всіх мовах.
Сортування результатів За замовчуванням знайдені документи сортуються за релевантністю
(відповідності запиту). Однак, ви можете вимагати, щоб замість цього
в початок списку були поміщені найсвіжіші (або, навпаки, самі старі документи).
Для цього треба вибрати відповідну установку в меню "Сортувати по ..."
на сторінці детального запиту. Ви можете також обмежити пошук документами,
створеними в певний період часу: для цього необхідно на сторінці детального
запиту вказати "Від дати ... до дати ...". Відстань між словами Можна
вимагати, щоб Рамблер повертав лише ті документи, де слова будуть
знаходяться на мінімальній відстані один від одного. Режим "Обмежити відстань
між словами "може бути включено до детальному запиті. Всі перераховані вище
правила можуть бути використані спільно один з одним у необхідної Вам послідовності.
Видача результатів За замовчуванням результати пошуку видаються порціями
по 15 документів. Меню "Видавати по ..." на сторінці детального запиту
дозволяє збільшити це число до 30 або 50. Меню "Форма виводу ..." дозволяє отримувати
опису документів зі збільшеною або зменшеною подробицею. 2.2.2. Пошукова
система Яндекс Яндекс щоденно переглядає сотні тисяч Web-сторінок
в пошуках змін або нових посилань. Колекція посилань постійно растет.Яндекс
не вимагає від вас знання спеціальних команд для пошуку. Досить набрати питання
( "де знайти дешеві комп'ютери" або "потрібні телефони Москви і Московської області"),
і ви отримаєте результат - список сторінок, де зустрічаються ці слова. Незалежно
від того, в якій формі ви вжили слово в запиті, пошук враховує всі
його форми за правилами російської мови. Наприклад, якщо задано фразу 'йти', то
в результаті пошуку будуть знайдені посилання на документи, що містять слова 'йти',
'йде', 'йшов', 'йшла' і т.д. На запит 'вікно' буде видана інформація, що містить
і слово 'вікон', а на запит 'відкликали' - документи, що містять слово 'відкликали'.
При цьому пошук не обмежений лише словами чи фразами. Яндекс відшукає за назвою
web-сторінку компанії або файл з потрібною картинкою. 2.2.3. Пошукова система
АпортПрімери простих запитів Зазвичай запит вдає із себе просто одне
або кілька слів, наприклад: мікропроцесори компанії IntelПо таким запитом
знаходяться документи, в яких зустрічаються всі слова запиту. Є, правда, обмежене
кількість слів (сполучники, прийменники тощо), які в запиті ігноруються,
так як не несуть самі по собі смислового навантаження. Наприклад, за запитом: яблука
на снегубудут знайдені всі документи, в яких зустрічаються одночасно два слова:
"яблуко" і "сніг". Де в межах документа розташовані слова, в якій граматичної
формі вони знаходяться - не важливо Варто ще раз підкреслити важливе і дуже
корисна властивість Апорт: незалежно від того, в якій граматичній формі
ви пишете в запиті слово, воно знаходиться в документах у всіх своїх формах. Наприклад,
за запитом: людина шелбудут знайдені серед інших і документи, що містять
текст "люди йдуть". Розпізнавання всіх форм працює для звичайних слів російської
мови. Для екзотичних слів, неологізмів тощо воно не проходить. У цьому випадку
може стати в нагоді оператор "*" (зірочка). Наприклад, ви хочете знайти все що пов'язано з
діяльності президента Росії, у тому числі і документи, що містять слово
"єльцинізм". Скористайтеся запитом: Єльцин * Він дозволить вам знайти те, що
ви хочете (а також документи зі словами Ельцініще, ельцінци, ельціненок і т.п),
оскільки зірочка замінює собою будь-яке число будь-яких буквПоіск за адресами (по
URL) Ви можете шукати документи не тільки по всьому російськомовному Інтернету, але
і по його частині. Найпростіший випадок - пошук по певному сервера. Наприклад
url = www.intel.ru собакаПо цього запиту будуть знайдені всі документи на сервері
www.intel.ru, що містять слово "собака". Можливо, вам цікаво, а що буде,
якщо написати просто: url = www.intel.ruВ цьому випадку ви отримаєте список всіх
документів, розташованих на вказаному вами сервереВи можете обмежувати пошук
і сильніше - одним з каталогів сервера. Наприклад: url = www.intel.ru/sobaki/ сенбернарПо
даному запиту документи, що містять слово "сенбернар", будуть шукатися
тільки в каталозі/sobaki (і його підкаталогах) московського сервера корпорації
Intel.2.2.4. List.ru На головній сторінці в верхній її частині розташовані посилання
на найбільш популярні проекти. Нижче, під логотипом каталозі, пошукова форма.
У правій колонці і нижній частині сторінки - блоки найактуальніших новин. Список
Цифри поруч
з назвою категорії показують кількість сайтів, що містяться в ній. Записані
дрібним шрифтом заголовки відсилають при натисканні на підкатегорії розділу.
Натиснувши на будь-якому з назв, Ви потрапите у відповідну рубрику і під логотипом
List.ru побачите повний шлях до неї, починаючи з головної сторінки. Кожен
проміжний рівень структури доступний за окремою ссилке.Поіск в каталозі реалізований
таким чином, що в результаті пошуку можуть бути знайдені як окремі
сайти, так і рубрики. Пошук буде успішним URL, назва, опис, ключові
слова. Допускається використанням мови запитів Яндекс. Розташована поруч
з пошуковою формою посилання "Структура каталогу" відкриває в окремому вікні повний
рубрикатор каталогу. Реалізована можливість переходу з рубрикатора в будь-яку
обрану підкатегорію. Більш детальне тематичний розподіл поточної рубрики представлено
списком посилань. Помічені символом @ приведуть у підкатегорії, структурно
що входять в інші розділи, але містять близьку за змістом інформацію.
Якщо Ви добре уявляєте, в якій рубриці містяться потрібні ресурси, краще
перейти в потрібну підкатегорію, скориставшись будь-яким з коштів, що надаються
навігації по каталогу. В іншому випадку можна шукати їх у повному списку.
Каталог організований таким чином, що всі сайти, що містяться на нижніх рівнях
структури, представлені і в рубріках.Показиваемий нижче список ресурсів впорядкований
в алфавітному порядку, але, обравши відповідну сортування ( "За часом долучення"
або "За переходах"), можна переглянути їх по порядку долучення до каталогу
(починаючи з самих "свіжих") або в залежності від популярності серед відвідувачів
каталогу. Посилання з назви сайту відкриває в окремому вікні його зареєстровану
в цiй рубрицi сторінку. Позначки RUS і ENG означають наявність на сайтi
сторінок, відповідно українською та англійською мовами. У червоних дужках (Заходів:
ххх.хх) показано середньодобове кількість переходів на ресурс зі сторінок
List.ru. 2.2.5. Пошукова система AltaVistaІндексірованіе в цій системі здійснюється
за допомогою робота. При цьому робот має такі пріоритети: * слова
що містяться в тезі мають вищий пріоритет; ключові фрази в тегах; * ключові
фрази, що знаходяться на початку сторінки; * ключові фрази в ALT - посиланнях * ключові
фрази за кількістю вхожденійпрісутствія словфраз; Якщо тегів на сторінці
ні, використовує перших 30 слів, які індексує і показує замість опису
(tag description) Найбільш цікава можливість AltaVista - це розширений
пошук. Тут варто відразу зробити застереження, що, на відміну від багатьох інших систем
AltaVista підтримує одномісний оператор NOT. Крім цього, є ще й
оператор NEAR, який реалізує можливість контекстного пошуку, коли терміни
повинні розташовуватися поруч у тексті документа. AltaVista дозволяє пошук за ключовими
фразах, при цьому вона має досить великий фразеологічний словник. Крім
усього іншого, при пошуку в AltaVista можна задати ім'я поля, де має зустрітися
слово: гіпертекстова посилання, applet, назва образу, заголовок та ряд
інших полів. На жаль, докладно процедура ранжирування в документації по системі
не описана, але видно, що ранжування застосовується як при простому пошуку,
так і при розширеному запиті. Реально цю систему можна віднести до системи з
булеві розширеним пошуком. 3.Прімери запитів У системі Апорт було зроблено запит
«Вакуум-випарних кристалізатор». Система повідомила наступні результати
(перші три): Апорт1 Тамбовський державний технічний універсітетhttp:// www.tstu.ru
Про університеті - історія; перелік факультетів, спеціальностей; персоналії
провідних вчених та ін Розповідь про Тамбовському регіональному центрі інформатизації
вищої школи: статут, перспективні проекти, результати. Про Тамбові та області:
історія, культура, посилання на сторінки освітніх установ, туризм. Схожі
сайти 36 0000 http://www.tstu.ru/win/katalog/okp/36.htm, 04.11.1998 (перевірено
08.12.2000), 104 kb, Windows 1251 ... 36 1428 4 - комбіновані 36 1429 5
- Інші 36 1430 5 Кристалізатори/36 1431 0 - з обертовими барабанами 36
1432 6 - ємнісні 36 1433 ... судин і апаратів 36 1600 9 Фільтри рідинні
36 1610 3 Вакуум-фільтри/36 1611 9 - барабанні зовнішні 36 1612 4 - барабанні
зовнішні ... Реконструкція тексту Решта знайдені на сайті сторінки (1)
2 Інститут тепло-і масообміну ім. А.В. Ликова АН Беларусіhttp:// www.itmo.by Інформація
про інститут і його лабораторіях. Новини та події. Анонси проводяться
конференцій та семінарів. Матеріали "Інженерно-фізичного журналу". Схожі сайти
IFZh, 1984http:// www.itmo.by/jepter/SODER/461984r/contr46.html, (перевірено
10.11.2000), 41 kb, koi8-r ... Майоров В. А., Васильєв Л. Л. Фізичні особливості
випарного рідинного охолодження пористого металокерамічного тепловиділяючого
елемента ... ...... Бодров В. В. Визначення теплових параметрів тонкостінних
кристалізаторів барабанного типу ... 622 Новиков Н. П., Ігнатенко
К. І., Михайлова Г. ... домішки в кремнії n типу при високотемпературному нагріванні
у вакуумі ... 693 Булгак І. А., Скоропанов А. С., Вечір А. А., Проценко Г.
... ...... А. А. Ефективність геттерірованія при масопереносу у вакуумі ... 949
Агеенко І. С., Ільясов С. Г., Красніков В. В., Тюрев Е. ... Реконструкція
Решта тексту знайдені на сайті сторінки (1) 3 WWW server of Tambov state technical
universityhttp:// www.tixm.tambov.su 36 0000 http://www.tixm.tambov.su/win/katalog/okp/36.htm,
04.11.1998 (перевірено 18.12.2000), 104 kb, Windows 1251
... 36 1428 4 - комбіновані 36 1429 5 - інші 36 1430 5 Кристалізатори/
36 1431 0 - з обертовими барабанами 36 1432 6 - ємнісні 36 1433 ... судин
та апаратів 36 1600 9 Фільтри рідинні 36 1610 3 Вакуум-фільтри/36 1611 9
- Барабанні зовнішні 36 1612 4 - барабанні зовнішні ... Реконструкція тексту
Решта знайдені на сайті сторінки (1) У системі Яндекс був зроблений то т же запит,
система відповіла, що нічого не найдено.3. Список використаної літературиПавел
Храмцов "Пошук і навігація в Internet". Http://www.osp.ru/cw/1996/20/31.htm
Навчання Інтернет-професій. Search engine Expert.http:// searchengine.narod.ru/archiv/se_2_250500.htm
Андрій Алікберов "Кілька слів про те, як працюють
роботи пошукових машин ". http://www.citforum.ru/internet/search/art_1.shtml