Новый поиск по форуму

Собственный поиск базы иногда к словоформе очень чувствителен.
По укороченному корню, бывает, и вовсе не находит. Типа, наберёшь "гражда" - не будет вообще ничего, допишешь буковку - "граждан": бац, с десяток появился (данный пример от балды, но с чем-то такого рода неоднократно сталкивался).

Fakir> По укороченному корню, бывает, и вовсе не находит. Типа, наберёшь "гражда" - не будет вообще ничего

Потому что он ищет не по подстроке, а по стеммингу. Упрощённой форме отбрасывания окончаний. Не полноценная морфология, поэтому затрагивает часто лишнего, но это лучше точного поиска.

Fakir> допишешь буковку - "граждан": бац, с десяток появился (данный пример от балды, но с чем-то такого рода неоднократно сталкивался).

Стемминг разный. "Гражда" редуцируется до "гражд" (сравни "вражда", "вражде", "враждой" -> "вражд"). А "граждан" воспринимается уже как редуцированная форма от "гражданин", "граждане", "гражданский" и т.п.

Это глюк или неработающая функция?
Задаю поиск на Морском по слову Саяны, всюду, отмечаю "точное соответствие".
Выдало посты, содержащие:
СА
САУ
вѣса
санках
колёса
Нас­сау
с­па­са­тель­ных
опа-саясь
са­мо­обо­ро­ны
Пролистал три страницы из найденных 29, дальше не стал.
Можно сделать, чтобы искало то, что спрашивают?

sam7> Это глюк или неработающая функция?

«Это не баг, это фича». Морфологический поиск в подобных системах обычно очень упрощённый и использует стемминг — отбрасывание всех похожих на окончания и суффиксы частей. «поиск» -> «поиск», «поисковый» -> «поиск».

Для аббревиатур, типа «САУ» такой подход не работает. Ну, или можно считать, что принимает это слово винительный падеж слова «са». «Кто — са, кого — сау».

sam7> Задаю поиск на Морском по слову Саяны, всюду, отмечаю "точное соответствие"

Это поиск не по отсутствию морфологии, а по точному соответствию фразы. В смысле подряд идущих слов. Переделал и расширил сейчас поиск, добавил возможность двоичного и расширенного поиска.

sam7> СА
sam7> САУ
sam7> санках

Как я уже и писал, проблема стемминга.

sam7> вѣса

Вот это — забавно. Поисковый движок не считает «ѣ» за букву и выбрасывает. Соответственно в поиск идёт «в са».

sam7> колёса

А вот это уже, кажется, мой баг. Для индексов по заголовкам я «ё» в список допустимых букв добавил, а для постингов — видимо нет. Сейчас прописал, но переиндексироваться будет долго. Надо будет потом проверить.

sam7> Нас­сау
sam7> с­па­са­тель­ных
sam7> са­мо­обо­ро­ны

Это непонятно. Надо будет разобраться. Не должны находитьсяю

sam7> опа-саясь

Тут всё понятно. Два слова: «опа» и «саясь». Второе и находит.

sam7> Можно сделать, чтобы искало то, что спрашивают?

Часа два сейчас угрохал на поиск того, можно ли отключить стемминг при запросе. Теоретически должен отключаться при расширенном запросе в формате «=САУ». Но на практике — не работает. То ли я что-то не то запрашиваю, то ли баг в движке.

Есть тупой выход — составить два комплекта индексов, один со стеммингом, другой без. Но для этого, по-хорошему, надо полностью переделать структуру индексов и переписать поиск.

Balancer> Для аббревиатур, типа «САУ» такой подход не работает.

так он не "сау" а "саяны" искал. я попробовал - мне тоже какую-то ерунду выдал ) или это так работает парсинг типа "са-яны"(?)
при этом в заголовке вообще стоит ссылка "Balancer.Ru » Инструменты » поиск » форель"(???)

Kuznets> так он не "сау" а "саяны" искал

Вот пишешь, пишешь, а как об стенку горох. Не важно, какая словоформа базовая. Важно, что после стемминга и от первого, и от второго останется только «са».

«Высмеяны» -> «Высме»
«Саяны» -> «Са»
«Дуру» -> «Дур»
«Сау» — «Са»

Kuznets> при этом в заголовке вообще стоит ссылка "Balancer.Ru » Инструменты » поиск » форель"(???)

Вот это непонятно:

…

Открыл тему на форуме поискового движка: В расширенных запросах не отключается стемминг. | Sphinx

Посмотрим, что подскажут. Если не лечится, придётся делать два комплекта индексов.

1241 и 12411 — это совершенно разные с точки зрения поиска слова.

Поиск идёт не по подстроке, а по целым словам с учётом русского и английского стемминга (имитация морфологии).

Balancer> 1241 и 12411 — это совершенно разные с точки зрения поиска слова.
Balancer> Поиск идёт не по подстроке

Спасибо, буду теперь знать.

Balancer> 1241 и 12411 — это совершенно разные с точки зрения поиска слова.
Balancer> Поиск идёт не по подстроке, а по целым словам с учётом русского и английского стемминга (имитация морфологии).

Логично было бы предположить, что первое - это подмножество второго К слову, так: "1241?" - тоже не хочет искать.

Кстати о поиске. Всё стеснялся обратиться. Когда-то я искал информацию по "Су-27". С тех пор база как то запомнила этот запрос и он так и находится в строке поиска. Не страшно, в принципе, но раздражает. При каждом поске приходится вначале это удалять. И даже при поиске какого-нибудь другого слова - "Су-27" тут же "возвращается"..



Это не проблема кэша браузера. Т.к. проявляется на разных браузерах и разных компьютерах. Можно как то очистить строку поиска?

Bod> Логично было бы предположить, что первое - это подмножество второго

Вопрос технических возможностей. Искать простым перебором по 5Гб текстов форума — нереально. Каждый запрос будет занимать десятки минут Поэтому в отдельной базе хранится матрица привязок цифровых идентификаторов отдельных слов и объектов их содержащих.

Google тоже, например, не позволяет искать по подстроке. Только целым словом.

Bod> К слову, так: "1241?" - тоже не хочет искать.

Да. Метасимволы в запросах не поддерживаются.

Bod> Кстати о поиске. Всё стеснялся обратиться. Когда-то я искал информацию по "Су-27". С тех пор база как то запомнила этот запрос и он так и находится в строке поиска.

Это не она запомнила, это с самого начала так было сделано, ещё когда первый вариант поиска вводился. Просто как пример пользователю, как запросы вводить. Тогда многие этого не знали. Так традиция и осталась По идее, наверное, надо убрать и/или оформить плейсхолдер (текст, которые исчезает, когда в поле поиска тыкаешься).

Серокой> И вообще, поиск по слову

Поисковиком не нашел тему "Доктор, откуда у вас такие картинки"
Сломался

Серокой> И вообще, поиск по слову "вокзал" и "вокзалы" выдаёт непересекающиеся результаты?

Забавно. Видимо, стемминг на этом слове лажает. В поисковой системе работает не честная русская морфология, она очень сложна и без многомегабайтных словарей не работает. А стемминг — отбрасывание окончаний слова, похожих на суффиксы/приставки. Но на некоторых словах лажает. Чаще ситуация обратная, неодинаковые слова считаются словоформами одного и того же, а тут, видимо, случай, когда стемминг прямо не срабатывает. Увы, в стороннем движке подкрутить сам не смогу, разве что прописать явно в виде исключений в список синонимов

Balancer>
Понятно.Но это неудобством назвать нельзя, just wait.

А по старой дискуссии забыл, неадекватный поиск по некоторым словам, типа "Саяны", неисправим на нынешнем движке?

sam7> А по старой дискуссии забыл, неадекватный поиск по некоторым словам, типа "Саяны", неисправим на нынешнем движке?

Да, увы, при дефолтовом поиске пока никак. Но в поиске появилась возможность задать режим поиска. При расширенном поиске и при добавлении к слову приставки «=» происходит точный поиск словоформы, без морфологии/стемминга. Так можно искать аббревиатуры:

пример «=САУ»

пример «=Саяны»

Также в расширенном поиске поддерживается бинарная логика (вертикальная палка, «|» — это ИЛИ), т.е. можно вручную задавать искомые словоформы, например:

Пример «=Саяны | =Саянах | =Саян»

Balancer> Да, увы, при дефолтовом поиске пока никак. Но в поиске появилась возможность задать режим поиска. При расширенном поиске и при добавлении к слову приставки «=» происходит точный поиск словоформы, без морфологии/стемминга.

Не понял "но".

Т.е. нужно просто задать расширенный поиск и добавить перед искомым = и все?
Аналогично, как в гугле взять в кавычки?

Почему "но", если это решает проблему? Или не все так однозначно?

sam7> Т.е. нужно просто задать расширенный поиск и добавить перед искомым = и все?

Если перед словом стоит знак «=», то оно ищется как есть, без модификаций. Подсветки в результате поиска это не касается, только самого поиска.

sam7> Почему "но", если это решает проблему? Или не все так однозначно?

Это решает проблему только отчасти. Как минимум, приходится перебирать разные склонения

Balancer> Это решает проблему только отчасти. Как минимум, приходится перебирать разные склонения
Теперь понятно, но это уже большой прогресс.
Ищется то, что спросил, а не то, о чем комп подумал.
Спасибо.