Вход | Регистрация

Информационные технологии ::

Метки:

Задай свой вопрос разработчикам поисковых систем!

Я
   Волшебник
 
06.12.03 - 02:11
В большинстве случаев значительную часть посетителей сайта дают поисковые системы.

Например, для mista.ru статистика примерно такова: Яндекс - 24%, Рамблер - 8%, Google - 7,5%, Апорт - 2% (итого 41,5%), остальные посетители приходят по ссылкам с других сайтов, из рассылки или другими способами.

Между собой поисковики распределились следующим образом:
Яндекс - 55%
Рамблер - 19%
Google - 18%
Апорт - 4%
(для политкорректности скажу, что это только для сайта mista.ru за неделю по данным HotLog)  

Вот здесь я нашел ответы на некоторые волновавшие меня вопросы по поводу поисковых систем. Рекомендую ознакомиться всем вебмастерам:
http://www.webclub.ru/events/searchenginequestions/

Спасибо за внимание.
 
  AdBlock убивает бесплатный контент
   skunk
 
1 - 06.12.03 - 02:15
(0) Спасибо! Действительно полезный ресурс. И не только веб мастерам
   Волшебник
 
2 - 06.12.03 - 02:21
Вот мне особенно понравилось:

Вопрос: Какие архитектурные решения организации баз данных являются ключевыми для достижения таких высочайших скоростей поиска? Как можно более подробно ознакомиться с этими технологиями?

------------------------------------
Илья Сегалович, руководитель отдела поисковых систем компании «Яндекс»:

В поисковых системах не используются «архитектурные решения баз данных» (Oracle, Postgres, Informix, Sybase, MySQL и т.д.).

Все известные мне отечественные и зарубежные поисковые системы - это вручную написанный софт на низкоуровневом языке программирования.

На тему архитектуры робота в той или иной мере можно найти публикации. Больше всего писала на эту тему Альтависта. Архитекура отработки поискового запроса - тайна в гораздо большей степени.

О нашей поисковой архитектуре мы кое-что рассказывали в Компьютерре и на company.yandex.ru.

------------------------------------
Андрей Коваленко, ведущий разработчик компании «Рамблер»:

Для достижения высокой производительности поисковой системы наряду с архитектурными решениями, минимизирующими ввод-вывод и позволяющими не вычислять величин, без которых можно обойтись, используется также глубокая оптимизация поисковых алгоритмов, так как всего лишь одна лишняя инструкция, исполненная несколько миллионов раз, уже вызовет серьезные задержки.

Кроме того, быстрый поиск невозможен без «тонкой» настройки серверов и операционной системы. Так, например, при вычислении поискового запроса данные загружаются с дисков «напрямую», в обход файловой системы. Знание полного списка необходимых для поиска блоков данных и порядка их использования позволяет нагружать дисковые устройства и шину PCI более эффективно, чем это делает сама операционная система.

Еще один пример оптимизации - размещение некоторых критичных по времени доступа данных в памяти ядра ОС. При таком размещении скорость обращения к ним существенно растет.

Для того, чтобы система такого масштаба функционировала 24 часа в сутки 7 дней в неделю, поисковик содержит модули балансировки нагрузки (выдачи более быстрым серверам большего количества запросов), восстановления после сбоев, автоматического мониторинга и т. д.

------------------------------------
Андрей Себрант, генеральный продюсер, директор по стратегии Lycos-Russia:

В случае FAST — это много человеко-лет академических исследований и несколько лет практической оптимизации в условиях работы глобального многоязычного индекса, работающего с миллиардами документов и всегда выдающего ответ за времена много меньше секунды. Краткий ответ на вопрос — это специализированные аппаратно-программные модули для параллельной обработки запросов, уникальная система фильтрации в реальном времени, оригинальные специализированные базы данных и препроцессинг перед занесением данных в базу. Это мало что скажет само по себе. За более подробной информацией, прочитав http://www.fastsearch.com/technology/, можно обратится по указанным на сайте контактам.

Михаил Костин, руководитель проекта «Апорт»:
Поисковые системы требуют особого подхода к организации хранения данных — стандартные СУБД (Oracle и т.д.) для них не годятся. Этой теме посвящено достаточно большое количество литературы (англоязычной), для начального ознакомления можно рекомендовать известную статью создателей Google: «The Anatomy of a Large-Scale Hypertextual Web Search Engine» (http://www7.scu.edu.au/programme/fullpapers/1921/com1921.htm).
   skunk
 
3 - 06.12.03 - 02:40
да сюда надо чела подтянуть который говрил, что при работе с БД ассемблер не нужен
   Волшебник
 
4 - 06.12.03 - 03:03
Последняя ссылка неправильно распозналась.
Вот правильная:
http://www7.scu.edu.au/programme/fullpapers/1921/com1921.htm
The Anatomy of a Large-Scale Hypertextual Web Search Engine (авторы Sergey Brin and Lawrence Page)


Список тем форума
AdBlock убивает бесплатный контент   AdBlock убивает бесплатный контент
Здесь во втором сообщении вам дадут решение, а в двадцатом дадут правильное решение. Ymryn
ВНИМАНИЕ! Если вы потеряли окно ввода сообщения, нажмите Ctrl-F5 или Ctrl-R или кнопку "Обновить" в браузере.
Ветка сдана в архив. Добавление сообщений невозможно.
Но вы можете создать новую ветку и вам обязательно ответят!
Каждый час на Волшебном форуме бывает более 2000 человек.
AdBlock убивает бесплатный контент