Мысли по полноценному поиску.

Просто мысли...

1. Готовые решения. MnogoSearch, к которому я попытался снова вернуться категорически не нравится тем, что не умеет индексировать в БД данные формата "несколько постингов на одну страницу с разбивкой на страницы". Т.е. как на этом форуме. Индексировать как обычный HTTP - это маразм.

2. Вчера полдня провозился в попытках поставить Sphinx. Но ничего не понял Т.е. поставил его, но как индексироват базы - просто не понял. Ещё буду разбираться.

3. Наконец, очередное изобретение велосипеда. Хотя, похоже, в области поисковиков это всё ещё акутально. Пару недель назад прикрутил и оттестировал на CMS русский стемминг - работает отлично. Заготовил огромные базы под поисковый индекс. Думаю, для начала попробовать перевести на свой движок в порядке эксперимента организацию "похожих" заголовков топиков. Нынешний вариант тормозит чудовищно. Для просмотра всех интересных комбинаций по нескольким десяткам тысяч записей уходят десятки секунд. Думаю, что в варианте с индексацией это время упадёт если не до десятых долей секунды, то хотя бы до единиц секунд Надо бы поднять тему движка поиска отдельно... А если эта система заработает, то и полнотекстовый поиск потом реализовать будет элементарно. Думаю, всей работы - на день-два... Найти бы их

Balancer> 2. Вчера полдня провозился в попытках поставить Sphinx.

Ссылка, если кому интересно - Sphinx | Open Source Search Engine

Привлекательны завяленная производительность и поддержка русского стемминга из "коробки".

Если кто поиском не занимался. Стемминг - это упрощённый алгоритм морфологической нормализации слов. Приводится не к морфологическому базису, а к некоторому усреднённому. Неправильно, зато быстро и бесплатно И в случае поисковых систем - неплохо заменяет истинную нормализацию.

В CMS можно посмотреть на include/classes/text/Stem_ru.php

Примеры преобразований:

<?
    include_once("Stem_ru.php");

    $stemmer = new Lingua_Stem_Ru();

    $f = "Если кто поиском поисками не занимался
занимается Стемминг это упрощённый алгоритм
морфологической нормализации слов слова словам";

    foreach(split(' ', $f) as $w)
        echo "$w -> ".$stemmer->stem_word($w)."\n";

Результат:

Если -> есл
кто -> кто
поиском -> поиск
поисками -> поиск
не -> не
занимался -> занима
занимается -> занимается
Стемминг -> стемминг
это -> это
упрощённый -> упрощен
алгоритм -> алгоритм
морфологической -> морфологической
нормализации -> нормализац
слов -> слов
слова -> слов
словам -> словам