Как улучшить поиск по сайту: умный поиск с пониманием смысла

Почему обычный поиск часто не работает

Классический поиск обычно работает по принципу:

пользователь ввёл слово → сайт ищет это слово в заголовке или тексте.

Например, в интернет-магазине есть товар:

«Смеситель для кухни с гибким изливом»

Покупатель может написать:

«кран на кухню»

или:

«смеситель для раковины»

или:

«кухонный кран»

Часть таких запросов может вообще не содержать тех слов, которые использовал продавец в названии товара.

Ещё хуже ситуация с ошибками:

«смеситель для кухне»

«смеситиль»

«краан для кухни»

Человек прекрасно понимает, что ему нужно. Поисковая система — не всегда.

На контентном сайте ситуация похожая.

Допустим, опубликована статья:

«Как утеплить стены частного дома снаружи»

Пользователь может искать:

«чем утеплить дом»

«как сделать тепло в доме»

«утепление дома с улицы»

«как утеплить стену»

Для обычного поиска это разные наборы слов.

Для человека — практически один и тот же вопрос.

Что такое поиск по смыслу

Чтобы решить эту проблему, можно использовать семантический поиск или векторный поиск.

Вместо того чтобы сравнивать только отдельные слова, система анализирует смысл текста.

Специальная модель преобразует текст в числовое представление — embedding.

Условно:

«Как утеплить стены дома снаружи» → embedding model → [0.12, -0.31, 0.74, ...]

Запрос пользователя преобразуется таким же образом:

«Как утеплить частный дом» → embedding model → [0.10, -0.28, 0.71, ...]

После этого система может определить, что два текста находятся близко по смыслу, даже если в них используются разные слова.

Именно поэтому векторный поиск особенно полезен там, где пользователи формулируют запросы естественным языком.

Что это даёт владельцу сайта

Главное преимущество здесь не в самой технологии.

Главное — пользователь получает больше шансов найти нужный ему контент.

Для интернет-магазина это может быть:

• товар, который не совпадает с запросом буквально;
• товары с альтернативными названиями;
• результаты при наличии опечатки;
• похожие товары;
• нужная категория, даже если покупатель не знает её точного названия.

Для информационного сайта:

• статьи, сформулированные другими словами;
• рецепты по описанию блюда;
• инструкции по проблеме, которую пользователь описал своими словами;
• материалы с синонимами;
• статьи, которые обычный поиск не смог бы найти.

По сути, сайт перестаёт требовать от пользователя знания того, как именно автор назвал нужный материал.

Пример для интернет-магазина

Представим небольшой магазин сантехники.

В каталоге есть:

Смеситель для кухни с высоким гибким изливом

Пользователь вводит:

«кран на кухню с гибким носиком»

Обычный поиск может дать мало результатов или вообще ничего.

Semantic search способен определить, что:

• кран ≈ смеситель
• кухня ≈ кухонный
• носик ≈ излив

и показать нужный товар.

Другой пользователь напишет:

«нужен смеситель чтобы струю можно было направлять»

Такой запрос вообще может не содержать слова «гибкий излив».

Но смысл запроса совпадает с характеристикой товара.

Именно такие ситуации особенно интересны для умного поиска по интернет-магазину.

Пример для сайта с рецептами

Предположим, на сайте есть рецепт:

«Куриное филе в сливочном соусе»

Пользователь пишет:

«что приготовить из курицы и сливок»

Или:

«простой рецепт курицы со сливками»

Или:

«курица в сливочном соусе быстро»

Ключевые слова могут отличаться, но смысл запроса остаётся похожим.

Вместо того чтобы искать точную фразу «куриное филе в сливочном соусе», система ищет материал, который соответствует смыслу запроса.

Для сайтов с большим количеством статей, рецептов и инструкций это особенно полезно.

Пример для сайта о ремонте и строительстве

Допустим, на сайте опубликована статья:

«Гидроизоляция фундамента частного дома»

Пользователь вводит:

«как защитить фундамент от воды»

или:

«что сделать чтобы фундамент не разрушался от влаги»

или:

«вода возле фундамента дома»

Такие запросы могут быть полезнее точного поиска по слову «гидроизоляция».

Посетитель часто не знает профессионального термина.

Он просто описывает свою проблему.

И хороший поиск должен понимать именно эту проблему.

Важное преимущество для старых сайтов

Для внедрения такого поиска не обязательно полностью переделывать существующий сайт.

Это особенно важно для небольших компаний, у которых сайт работает много лет и построен на старом CMS или собственной системе.

Не всегда есть смысл переносить старый интернет-магазин на новую платформу только ради современного поиска.

Можно оставить существующий сайт и отдельно модернизировать механизм поиска.

Старая структура:

• товары
• категории
• статьи
• поиск

может постепенно получить новый поисковый слой:

• существующий контент
• существующая база
• новый semantic search

То есть содержимое сайта не обязательно переписывать или переносить.

Сначала существующие товары и статьи анализируются, для них создаются embeddings, а затем они используются новым поиском.

Что именно индексируется

Не обязательно создавать вектор только для полного текста страницы.

Для разных сайтов можно индексировать разные данные.

В интернет-магазине:

• название товара
• описание
• характеристики
• категория
• бренд

На информационном сайте:

• заголовок
• анонс
• текст статьи
• теги
• категория

На сайте с рецептами:

• название блюда
• описание
• ингредиенты
• способ приготовления
• категория

Чем больше полезной информации доступно поиску, тем лучше он может понять, с чем работает.

Почему нельзя просто заменить старый поиск на векторный

На практике лучший результат обычно даёт не один механизм, а несколько одновременно.

Например:

точное совпадение + полнотекстовый поиск + векторный поиск + исправление ошибок

Это называется гибридным поиском.

Допустим, пользователь ищет:

«iPhone 16 Pro»

Здесь точное совпадение может быть важнее семантики.

А если пользователь пишет:

«телефон apple с тремя камерами»

тогда полезнее становится поиск по смыслу.

Поэтому современные поисковые системы могут использовать сразу несколько источников сигналов.

Поиск с ошибками

Отдельное преимущество — работа с опечатками.

На реальном сайте пользователи редко вводят все запросы идеально.

Например:

«стиральная машына»

вместо:

«стиральная машина»

или:

«дрель акумуляторная»

вместо:

«дрель аккумуляторная»

Обычный поиск может вернуть пустой результат.

Умный поиск может сначала определить близость запроса к существующим терминам, а затем дополнительно искать по смыслу.

Это особенно важно для мобильных пользователей, которые часто вводят запросы с телефона.

Пользователь не обязан знать правильные термины

Есть ещё одна проблема, которую часто недооценивают владельцы сайтов.

Посетитель может просто не знать термин, который используется в каталоге или статье.

Например, продавец написал:

«Термостатический смеситель»

а покупатель ищет:

«смеситель который сам регулирует температуру воды»

С точки зрения человека запрос абсолютно понятен.

Обычный поиск может не понять связь.

Semantic search способен установить смысловую близость между этими формулировками.

То же самое происходит в медицине, строительстве, автомобилях, бытовой технике, кулинарии и практически любой другой тематике.

Можно искать даже не по названию товара

Это ещё одна интересная возможность.

Пользователь может описать задачу, а не товар.

Например:

«нужен инструмент чтобы закрутить шурупы в труднодоступном месте»

В каталоге может находиться:

«Угловая аккумуляторная дрель-шуруповёрт»

Пользователь не знает название инструмента.

Но он знает, что хочет сделать.

Хороший поиск должен позволять ему искать именно таким способом.

Что происходит внутри сайта

С технической точки зрения схема достаточно простая.

Сначала весь существующий контент проходит через embedding-модель:

Товар → Embedding → Vector → База данных

То же самое происходит со статьями:

Статья → Embedding → Vector → База данных

Когда пользователь вводит поисковый запрос, система выполняет аналогичную операцию:

Поисковый запрос → Embedding → Query vector → Поиск похожих vectors → Результаты поиска

Вместо сравнения только слов система сравнивает положения текстов в математическом пространстве.

Где хранить данные

Если сайт использует PostgreSQL, для такого поиска можно использовать расширение pgvector.

Например, у товара можно хранить:

• id
• name
• description
• embedding

А для статьи:

• id
• title
• content
• embedding

Вектор хранится непосредственно рядом с исходным контентом либо в отдельной поисковой таблице.

Это позволяет не создавать отдельную сложную систему только ради поиска.

Для небольших и средних сайтов такой подход может быть вполне достаточным.

А если статей тысячи?

Большие статьи иногда разбивают на отдельные фрагменты.

Например, вместо одного embedding для статьи на 20 000 символов можно создать несколько:

• Введение
• Материалы
• Подготовка
• Основная инструкция
• Ошибки и рекомендации

Каждый фрагмент становится отдельным поисковым объектом.

Это позволяет находить не только подходящую статью, но и наиболее релевантный её фрагмент.

Особенно полезно это для:

• инструкций;
• документации;
• больших справочников;
• строительных руководств;
• кулинарных сайтов;
• технических статей.

Как понять, что поиск действительно стал лучше

Внедрить новый поиск недостаточно.

Его эффективность стоит измерять.

Можно сохранять запросы пользователей:

• поисковый запрос
• количество найденных результатов
• на какой результат нажали

После этого становится видно, что реально ищут посетители.

Например:

• «кран на кухню» → 124 запроса
• «смеситель» → 83 запроса
• «кран на кухне» → 46 запросов
• «смеситиль» → 17 запросов

Одновременно можно увидеть запросы, для которых сайт ничего не нашёл.

Это очень полезная информация для владельца сайта.

Иногда статистика поиска показывает темы, категории и товары, которых пользователи хотят найти, но которых на сайте вообще нет.

Поиск может показать слабые места сайта

Анализ поисковых запросов позволяет обнаружить:

• какие товары ищут чаще всего;
• каких категорий не хватает;
• какие названия товаров непонятны клиентам;
• какие статьи трудно найти;
• какие формулировки используют реальные посетители;
• какие запросы регулярно дают ноль результатов.

Например, если десятки посетителей ищут:

«как утеплить балкон»

а подходящей статьи нет, это уже идея для нового материала.

В итоге внутренний поиск становится не только инструментом навигации, но и источником информации о потребностях аудитории.

Можно использовать поиск как замену сложному меню

Для небольшого сайта не всегда нужно строить огромную структуру категорий.

Представим магазин с несколькими тысячами товаров.

Пользователь может не знать:

Электроинструмент → Дрели → Аккумуляторные → Ударные

Ему проще написать:

«дрель для бетона на аккумуляторе»

Умный поиск может привести его непосредственно к нужным товарам.

Получается своеобразный интерфейс:

«Просто напишите, что вам нужно»

Это значительно ближе к тому, как люди обычно формулируют свои потребности.

Нужно ли использовать искусственный интеллект

В данном случае искусственный интеллект используется не для генерации текста и не для общения с пользователем.

Он применяется как инструмент понимания содержания.

Embedding-модель отвечает примерно на вопрос:

«Насколько близки по смыслу этот запрос и этот документ?»

Поэтому даже обычный интернет-магазин может использовать современные AI-технологии без превращения сайта в полноценный AI-сервис.

Для пользователя всё выглядит привычно:

[ Что вы ищете? 🔍 ]

Но внутри поиск работает гораздо сложнее обычного текстового совпадения.

Сколько стоит такой поиск

Стоимость зависит от количества товаров, страниц и поисковых запросов.

Embeddings существующего контента можно создавать один раз, а затем обновлять только изменившиеся материалы.

Например:

новый товар → создать embedding → сохранить в базу

Если товар изменился:

изменение описания → создать новый embedding → обновить индекс

Сам поисковый запрос также преобразуется в embedding, после чего выполняется поиск ближайших результатов.

Для небольшого сайта это может быть относительно простой и недорогой дополнительный сервис.

Что ещё можно добавить

После базового векторного поиска систему можно развивать дальше.

Например:

Исправление опечаток

«стиралная машина» → «стиральная машина»

Синонимы

авто = автомобиль = машина

Поиск по характеристикам

«телефон apple до 100 тысяч»

Фильтры

• категория
• цена
• бренд
• наличие

Ранжирование

Сначала показывать наиболее подходящие товары или статьи, а не просто первые совпадения.

Поиск по естественному вопросу

Например:

«Что приготовить из курицы, картошки и сыра?»

Для сайта с рецептами такой формат может быть значительно удобнее обычного поиска по названию блюда.

Что в итоге получает владелец сайта

Умный поиск по сайту — это не просто новая технологическая функция.

Это способ сделать существующий контент доступнее.

Товары не меняются.

Статьи не обязательно переписываются.

Сайт не обязательно полностью переделывать.

Меняется способ, которым посетитель взаимодействует с уже существующим контентом.

Вместо требования:

«Введите точное название»

сайт начинает работать по принципу:

«Опишите, что вы ищете, своими словами»

Именно в этом заключается основное преимущество семантического и векторного поиска.

Для интернет-магазина это означает более удобный поиск товаров. Для сайта со статьями — более быстрый поиск нужной информации. Для старого сайта — возможность улучшить одну из самых важных функций без полной переделки проекта.

А для владельца сайта самое ценное — возможность наконец использовать тот контент и каталог, которые уже накоплены за годы работы, но раньше было сложно найти через обычную поисковую строку.