Очень мне понравилась недавно одна фраза, подсмотренная «где-то у кого-то». (с)
«LLM на данный момент - это, по сути, система рычагов для ваших навыков и вашего опыта.»
Вчера занимался улучшением одного из сайтов. LLM предложила немного улучшить поиск по сайту. Мне что-то вспомнилась Bonica, где был шикарный поиск вхождений ключей. С морфологией, словарям (вместо лемматизатора кривого) и кучей фишек. В общем я сказал - а давай улучшим. Вот репозиторий моего старого проекта, там есть стек, логика и алгоритмы. Погнали. 🙂
Обсудили, собрали стенд, написали тесты, погоняли-покрутили параметры. Теперь у меня есть плагин для WP (который несколько сложно разворачивается, тк нужен отдельный поисковый движок и индексатор к нему).
ИТОГО:
Раньше поиск на сайте искал буквальное совпадение: «хранение яблок» и «хранить яблоки» были для него разными запросами, а ответ шёл 3–4 секунды. Теперь поиском занимается отдельный поисковый движок. Он держит индекс всех 6к+ статей, обновляет его каждую ночь и отвечает за сотые доли секунды. Вся страница с результатами открывается примерно за секунду.
Что он умеет:
• понимает русскую морфологию: «морковь», «моркови», «морковку» — это одно слово;
• знает садовые пары: «обрезать» = «обрезка», «сажать» = «посадка», «хранить» = «хранение». Таких пар 31;
• знает синонимы: помидор = томат, картошка = картофель, клубника = земляника и ещё 6 пар;
• под каждой статьёй теперь показывает абзац из статьи, где подсвечено найденное.
Как решается, что показать выше:
1. Сначала ищутся статьи, где есть все слова запроса. Если таких нет, ищутся статьи со всеми словами, кроме одного, чтобы не показывать пустую страницу.
2. «Как», «когда», «почему» и другие вопросительные слова не учитываются.
3. Совпадение в заголовке весит в 10 раз больше, чем совпадение в тексте.
4. Редкие слова важнее частых: «пасынкование» говорит о теме больше, чем «томат».
5. Если слова стоят рядом и в том же порядке, что в запросе, статья выше.
6. Если заголовок начинается со всего запроса, статья идёт первой: «лунный календарь» → «Лунный календарь для садоводов…».
7. Если запрос из одного слова, выше та статья, где оно стоит ближе к началу заголовка.
8. Каждое слово запроса в заголовке даёт небольшую надбавку, поэтому «Как сохранить морковь» стоит выше статьи, где морковь и хранение упоминаются только в тексте.
9. При прочих равных выше статья, где слова запроса встречаются в тексте чаще.
И самое главное за что я пока еще обожаю LLM: от решения до работающего поиска на проде - полтора часа! Естестсвенно не считая индексации 6к статей. Это чистое время разработики + деплоя.
«LLM на данный момент - это, по сути, система рычагов для ваших навыков и вашего опыта.»
Вчера занимался улучшением одного из сайтов. LLM предложила немного улучшить поиск по сайту. Мне что-то вспомнилась Bonica, где был шикарный поиск вхождений ключей. С морфологией, словарям (вместо лемматизатора кривого) и кучей фишек. В общем я сказал - а давай улучшим. Вот репозиторий моего старого проекта, там есть стек, логика и алгоритмы. Погнали. 🙂
Обсудили, собрали стенд, написали тесты, погоняли-покрутили параметры. Теперь у меня есть плагин для WP (который несколько сложно разворачивается, тк нужен отдельный поисковый движок и индексатор к нему).
ИТОГО:
Раньше поиск на сайте искал буквальное совпадение: «хранение яблок» и «хранить яблоки» были для него разными запросами, а ответ шёл 3–4 секунды. Теперь поиском занимается отдельный поисковый движок. Он держит индекс всех 6к+ статей, обновляет его каждую ночь и отвечает за сотые доли секунды. Вся страница с результатами открывается примерно за секунду.
Что он умеет:
• понимает русскую морфологию: «морковь», «моркови», «морковку» — это одно слово;
• знает садовые пары: «обрезать» = «обрезка», «сажать» = «посадка», «хранить» = «хранение». Таких пар 31;
• знает синонимы: помидор = томат, картошка = картофель, клубника = земляника и ещё 6 пар;
• под каждой статьёй теперь показывает абзац из статьи, где подсвечено найденное.
Как решается, что показать выше:
1. Сначала ищутся статьи, где есть все слова запроса. Если таких нет, ищутся статьи со всеми словами, кроме одного, чтобы не показывать пустую страницу.
2. «Как», «когда», «почему» и другие вопросительные слова не учитываются.
3. Совпадение в заголовке весит в 10 раз больше, чем совпадение в тексте.
4. Редкие слова важнее частых: «пасынкование» говорит о теме больше, чем «томат».
5. Если слова стоят рядом и в том же порядке, что в запросе, статья выше.
6. Если заголовок начинается со всего запроса, статья идёт первой: «лунный календарь» → «Лунный календарь для садоводов…».
7. Если запрос из одного слова, выше та статья, где оно стоит ближе к началу заголовка.
8. Каждое слово запроса в заголовке даёт небольшую надбавку, поэтому «Как сохранить морковь» стоит выше статьи, где морковь и хранение упоминаются только в тексте.
9. При прочих равных выше статья, где слова запроса встречаются в тексте чаще.
И самое главное за что я пока еще обожаю LLM: от решения до работающего поиска на проде - полтора часа! Естестсвенно не считая индексации 6к статей. Это чистое время разработики + деплоя.