Вебмастер Букреев (Reader)

Очень мне понравилась недавно одна фраза, подсмотренная «где-то у кого-то». (с)

«LLM на данный момент - это, по сути, система рычагов для ваших навыков и вашего опыта.»

Вчера занимался улучшением одного из сайтов. LLM предложила немного улучшить поиск по сайту. Мне что-то вспомнилась Bonica, где был шикарный поиск вхождений ключей. С морфологией, словарям (вместо лемматизатора кривого) и кучей фишек. В общем я сказал - а давай улучшим. Вот репозиторий моего старого проекта, там есть стек, логика и алгоритмы. Погнали. 🙂

Обсудили, собрали стенд, написали тесты, погоняли-покрутили параметры. Теперь у меня есть плагин для WP (который несколько сложно разворачивается, тк нужен отдельный поисковый движок и индексатор к нему).

ИТОГО:
Раньше поиск на сайте искал буквальное совпадение: «хранение яблок» и «хранить яблоки» были для него разными запросами, а ответ шёл 3–4 секунды. Теперь поиском занимается отдельный поисковый движок. Он держит индекс всех 6к+ статей, обновляет его каждую ночь и отвечает за сотые доли секунды. Вся страница с результатами открывается примерно за секунду.

Что он умеет:
• понимает русскую морфологию: «морковь», «моркови», «морковку» — это одно слово;
• знает садовые пары: «обрезать» = «обрезка», «сажать» = «посадка», «хранить» = «хранение». Таких пар 31;
• знает синонимы: помидор = томат, картошка = картофель, клубника = земляника и ещё 6 пар;
• под каждой статьёй теперь показывает абзац из статьи, где подсвечено найденное.

Как решается, что показать выше:
1. Сначала ищутся статьи, где есть все слова запроса. Если таких нет, ищутся статьи со всеми словами, кроме одного, чтобы не показывать пустую страницу.
2. «Как», «когда», «почему» и другие вопросительные слова не учитываются.
3. Совпадение в заголовке весит в 10 раз больше, чем совпадение в тексте.
4. Редкие слова важнее частых: «пасынкование» говорит о теме больше, чем «томат».
5. Если слова стоят рядом и в том же порядке, что в запросе, статья выше.
6. Если заголовок начинается со всего запроса, статья идёт первой: «лунный календарь» → «Лунный календарь для садоводов…».
7. Если запрос из одного слова, выше та статья, где оно стоит ближе к началу заголовка.
8. Каждое слово запроса в заголовке даёт небольшую надбавку, поэтому «Как сохранить морковь» стоит выше статьи, где морковь и хранение упоминаются только в тексте.
9. При прочих равных выше статья, где слова запроса встречаются в тексте чаще.

И самое главное за что я пока еще обожаю LLM: от решения до работающего поиска на проде - полтора часа! Естестсвенно не считая индексации 6к статей. Это чистое время разработики + деплоя.

Меня в последнее время страшно раздражает одна человеческая привычка.

Люди почему-то очень любят лучше других знать, что ИМ надо делать.

Кто-то месяцами бьется за спасение природы. Пишет обращения, ходит по инстанциям, тратит свое время, нервы и силы.

И обязательно найдется человек, который объяснит:

"Вы все неправильно делаете. Надо было не жалобы писать, а устраивать митинг".

Спасибо, блядь. Без тебя не догадались.

Кто-то берет СВОИ деньги и строит школу в качестве благотворительности.

И тут же появляется толпа людей, прекрасно знающих, как следовало распорядиться ЧУЖИМИ деньгами:

"Это вообще государство должно делать".
"Лучше бы детскому дому помог".
"Лучше бы больницу построил".
"Лучше бы раздал бедным".

Особенно прекрасно вот это "мог бы".

Да. Мог бы.

А еще мог бы купить яхту.
Мог бы закопать деньги на даче.
Мог бы вообще ничего не делать.

Потому что это его деньги.

Вы можете считать чужое решение неэффективным, неправильным, глупым или бессмысленным. Можете даже сказать об этом, если вас спросили.

Но есть большая разница между:

"Я бы сделал иначе"

и

"ТЫ ДОЛЖЕН БЫЛ сделать иначе".

Первое - мнение.
Второе - почему-то попытка получить право распоряжаться чужой жизнью.

Люди имеют право неправильно бороться за природу.
Неправильно заниматься благотворительностью.
Неправильно строить бизнес.
Неправильно воспитывать собаку.
Неправильно тратить собственные деньги.
Неправильно выбирать, на что потратить свое время.

И даже - страшно сказать - совершать собственные ошибки.

Не каждое действие другого человека обязано проходить вашу персональную экспертизу на предмет того, достаточно ли правильно он живет.

Поэтому у меня есть довольно универсальное пожелание обществу:

ОТЪЕБИТЕСЬ ОТ ДРУГИХ ЛЮДЕЙ.

Не в смысле "никому ничего не говорите".

А в смысле - перестаньте считать, что ваше представление о правильном автоматически становится обязанностью для окружающих.

Хотите спасать природу другим способом - спасайте.
Хотите построить другую школу - стройте.
Хотите пожертвовать деньги эффективнее - пожертвуйте.

Своими руками.
Свое время.
Свои деньги.

А другим оставьте роскошь самим решать, что им делать со своей жизнью.

Даже если они делают это не так, как сделали бы вы.

ЗЫ. По мотивам чтения нескольких чатов все лето :-)))