Ինչպես բարելավել կայքի որոնումը․ իմաստը հասկացող խելացի որոնում

Ինչու սովորական որոնումը հաճախ չի աշխատում

Սովորական որոնումը սովորաբար աշխատում է այս սկզբունքով․

օգտատերը մուտքագրում է բառ → կայքը այդ բառը փնտրում է վերնագրում կամ տեքստում։

Օրինակ՝ ինտերնետ-խանութում կա ապրանք․

«Խոհանոցի ծորակ՝ բարձր և ճկուն ելքով»

Հաճախորդը կարող է որոնել․

«խոհանոցի ջրի ծորակ»

կամ․

«լվացարանի ծորակ»

կամ․

«խոհանոցի կран»

Նման հարցումների մի մասը կարող է ընդհանրապես չպարունակել այն բառերը, որոնք վաճառողն օգտագործել է ապրանքի անվան մեջ։

Իրավիճակն ավելի վատ է, երբ կան ուղղագրական սխալներ․

«խոհանոցի ծորաակ»

«ծորաք»

«խոհանոցի ջրի կրան»

Մարդը հիանալի հասկանում է, թե ինչ է իրեն անհրաժեշտ։ Որոնման համակարգը՝ ոչ միշտ։

Նույն իրավիճակը հանդիպում է նաև բովանդակային կայքերում։

Ենթադրենք, կայքում հրապարակված է հոդված․

«Ինչպես մեկուսացնել առանձնատան պատերը դրսից»

Օգտատերը կարող է որոնել․

«ինչ անել, որ տունը տաք լինի»

«ինչպես մեկուսացնել տունը դրսից»

«ինչպես ջերմամեկուսացնել պատը»

Սովորական որոնման համար սրանք տարբեր բառերի հավաքածուներ են։

Մարդու համար դրանք, ըստ էության, նույն հարցն են։

Ի՞նչ է իմաստային որոնումը

Այս խնդիրը լուծելու համար կարելի է օգտագործել իմաստային որոնում կամ վեկտորային որոնում։

Առանձին բառերը համեմատելու փոխարեն համակարգը վերլուծում է տեքստի իմաստը։

Հատուկ մոդելը տեքստը վերածում է թվային ներկայացման, որը կոչվում է embedding։

Օրինակ․

«Ինչպես մեկուսացնել տան արտաքին պատերը» → embedding model → [0.12, -0.31, 0.74, ...]

Օգտատիրոջ հարցումը նույն կերպ է վերածվում embedding-ի․

«Ինչպես մեկուսացնել առանձնատունը» → embedding model → [0.10, -0.28, 0.71, ...]

Դրանից հետո համակարգը կարող է որոշել, որ երկու տեքստերը մոտ են իմաստով, նույնիսկ եթե օգտագործում են տարբեր բառեր։

Այդ պատճառով վեկտորային որոնումը հատկապես օգտակար է այն դեպքերում, երբ օգտատերերը հարցումները ձևակերպում են բնական լեզվով։

Ի՞նչ է սա տալիս կայքի սեփականատիրոջը

Հիմնական առավելությունը տեխնոլոգիան ինքնին չէ։

Գլխավոր օգուտն այն է, որ օգտատերը շատ ավելի մեծ հնարավորություն ունի գտնելու իրեն անհրաժեշտ բովանդակությունը։

Ինտերնետ-խանութի համար սա կարող է նշանակել․

• ապրանքներ, որոնց անունները բառացիորեն չեն համընկնում որոնման հարցման հետ;
• այլընտրանքային անվանումներով ապրանքներ;
• արդյունքներ սխալմամբ մուտքագրված հարցման դեպքում;
• նմանատիպ ապրանքներ;
• ճիշտ կատեգորիայի գտնում, նույնիսկ եթե հաճախորդը չգիտի դրա ճշգրիտ անվանումը։

Տեղեկատվական կայքի համար․

• տարբեր բառերով ձևակերպված հոդվածներ;
• ուտեստի նկարագրությամբ որոնվող բաղադրատոմսեր;
• խնդրի համար նախատեսված հրահանգներ, որը օգտատերը նկարագրել է իր բառերով;
• հոմանիշներ պարունակող հոդվածներ;
• բովանդակություն, որը սովորական որոնումը չէր կարող գտնել։

Այսինքն՝ կայքն այլևս օգտատերից չի պահանջում իմանալ, թե ճիշտ ինչպես է հեղինակը անվանել այն բովանդակությունը, որը նրան անհրաժեշտ է։

Օրինակ ինտերնետ-խանութի համար

Պատկերացնենք փոքր սանտեխնիկայի խանութ։

Կատալոգում կա ապրանք․

Խոհանոցի ծորակ՝ բարձր և ճկուն ելքով

Հաճախորդը մուտքագրում է․

«խոհանոցի ջրի ծորակ՝ ճկուն գլխիկով»

Սովորական որոնումը կարող է տալ շատ քիչ արդյունք կամ ընդհանրապես ոչինչ։

Իմաստային որոնումը կարող է որոշել, որ․

• ծորակ ≈ խառնիչ
• խոհանոց ≈ խոհանոցային
• գլխիկ ≈ ելք

և ցույց տալ անհրաժեշտ ապրանքը։

Մեկ այլ հաճախորդ կարող է գրել․

«ինձ պետք է ծորակ, որի միջոցով կարելի է ուղղել ջրի հոսքը»

Այս հարցումը կարող է ընդհանրապես չպարունակել «ճկուն ելք» բառերը։

Բայց հարցման իմաստը համապատասխանում է ապրանքի բնութագրին։

Հենց նման իրավիճակներում ինտերնետ-խանութի խելացի որոնումը դառնում է հատկապես օգտակար։

Օրինակ բաղադրատոմսերի կայքի համար

Ենթադրենք, կայքում կա բաղադրատոմս․

«Հավի ֆիլե՝ սերուցքային սոուսով»

Օգտատերը գրում է․

«ինչ պատրաստել հավից ու սերուցքից»

Կամ․

«հավի մսով և սերուցքով պարզ բաղադրատոմս»

Կամ․

«հավ սերուցքային սոուսով՝ արագ»

Բանալի բառերը կարող են տարբեր լինել, բայց հարցման իմաստը մնում է նման։

«Հավի ֆիլե՝ սերուցքային սոուսով» ճշգրիտ արտահայտությունը փնտրելու փոխարեն համակարգը փնտրում է բովանդակություն, որը համապատասխանում է հարցման իմաստին։

Հոդվածների, բաղադրատոմսերի և ուղեցույցների մեծ քանակ ունեցող կայքերի համար սա կարող է հատկապես օգտակար լինել։

Օրինակ վերանորոգման և շինարարության կայքի համար

Ենթադրենք, կայքում հրապարակված է հոդված․

«Առանձնատան հիմքի ջրամեկուսացում»

Օգտատերը մուտքագրում է․

«ինչպես պաշտպանել հիմքը ջրից»

կամ․

«ինչ անել, որ խոնավությունը չքանդի հիմքը»

կամ․

«ջուր տան հիմքի մոտ»

Նման հարցումները կարող են ավելի օգտակար լինել, քան «ջրամեկուսացում» բառի ճշգրիտ որոնումը։

Այցելուն հաճախ չգիտի մասնագիտական տերմինը։

Նա պարզապես նկարագրում է իր խնդիրը։

Եվ լավ որոնումը պետք է հասկանա հենց այդ խնդիրը։

Կարևոր առավելություն հին կայքերի համար

Այսպիսի որոնման ներդրումը պարտադիր չի պահանջում ամբողջությամբ վերակառուցել գործող կայքը։

Սա հատկապես կարևոր է փոքր բիզնեսների համար, որոնց կայքերն աշխատում են արդեն երկար տարիներ և կառուցված են հին CMS-ի կամ սեփական համակարգի վրա։

Միշտ չէ, որ անհրաժեշտ է հին ինտերնետ-խանութը տեղափոխել նոր հարթակ միայն ժամանակակից որոնում ստանալու համար։

Կարելի է պահպանել գործող կայքը և առանձին արդիականացնել որոնման մեխանիզմը։

Հին կառուցվածքը․

• ապրանքներ
• կատեգորիաներ
• հոդվածներ
• որոնում

կարող է աստիճանաբար ստանալ նոր որոնման շերտ․

• գործող բովանդակություն
• գործող տվյալների բազա
• նոր semantic search

Այսինքն՝ կայքի բովանդակությունը պարտադիր չէ վերաշարադրել կամ տեղափոխել։

Առկա ապրանքներն ու հոդվածները նախ կարող են վերլուծվել և վերածվել embedding-ների, որոնք այնուհետև օգտագործվում են նոր որոնման համակարգի կողմից։

Ի՞նչն է ինդեքսավորվում

Պարտադիր չէ վեկտոր ստեղծել միայն էջի ամբողջական տեքստի համար։

Տարբեր կայքեր կարող են ինդեքսավորել տարբեր տեսակի տեղեկատվություն։

Ինտերնետ-խանութի համար․

• ապրանքի անվանում
• նկարագրություն
• բնութագրեր
• կատեգորիա
• բրենդ

Տեղեկատվական կայքի համար․

• վերնագիր
• համառոտ նկարագրություն
• հոդվածի տեքստ
• թեգեր
• կատեգորիա

Բաղադրատոմսերի կայքի համար․

• ուտեստի անվանում
• նկարագրություն
• բաղադրիչներ
• պատրաստման եղանակ
• կատեգորիա

Որքան ավելի շատ օգտակար տեղեկատվություն հասանելի լինի որոնման համակարգին, այնքան ավելի լավ այն կկարողանա հասկանալ, թե ինչի հետ է աշխատում։

Ինչու պետք չէ պարզապես փոխարինել սովորական որոնումը վեկտորայինով

Գործնականում լավագույն արդյունքը սովորաբար ստացվում է միաժամանակ մի քանի մեխանիզմ օգտագործելու դեպքում։

Օրինակ․

ճշգրիտ համընկնում + full-text search + վեկտորային որոնում + սխալների ուղղում

Սա կոչվում է հիբրիդային որոնում։

Ենթադրենք օգտատերը փնտրում է․

«iPhone 16 Pro»

Այստեղ ճշգրիտ համընկնումը կարող է ավելի կարևոր լինել, քան իմաստային մոտությունը։

Բայց եթե օգտատերը գրում է․

«Apple հեռախոս՝ երեք տեսախցիկով»

ապա իմաստային որոնումը դառնում է շատ ավելի օգտակար։

Այդ պատճառով ժամանակակից որոնման համակարգերը կարող են միաժամանակ օգտագործել մի քանի ազդանշան։

Սխալներով որոնում

Մեկ այլ կարևոր առավելություն տառասխալների մշակումն է։

Իրական կայքում օգտատերերը հազվադեպ են բոլոր հարցումները մուտքագրում կատարյալ։

Օրինակ․

«լվացքի մեքենա»

սխալ գրությամբ՝ փոխարենը․

«լվացքի մեքենա»

կամ․

«ակումուլյատորային դրել»

սխալ գրությամբ՝ փոխարենը․

«ակումուլյատորային դռել»

Սովորական որոնումը կարող է դատարկ արդյունք վերադարձնել։

Խելացի որոնումը կարող է նախ որոշել, որ հարցումը մոտ է գոյություն ունեցող տերմիններին, իսկ հետո կատարել լրացուցիչ իմաստային որոնում։

Սա հատկապես կարևոր է բջջային օգտատերերի համար, որոնք հաճախ որոնումներ են մուտքագրում հեռախոսից։

Օգտատերը պարտավոր չէ իմանալ ճիշտ տերմինները

Կա ևս մեկ խնդիր, որը կայքի սեփականատերերը հաճախ թերագնահատում են։

Այցելուն կարող է պարզապես չիմանալ կատալոգում կամ հոդվածում օգտագործված տերմինը։

Օրինակ՝ վաճառողը գրել է․

«Թերմոստատիկ խառնիչ»

իսկ գնորդը փնտրում է․

«ծորակ, որը ինքն է կարգավորում ջրի ջերմաստիճանը»

Մարդու տեսանկյունից հարցումը լիովին հասկանալի է։

Սովորական որոնումը կարող է չհասկանալ կապը։

Իմաստային որոնումը կարող է որոշել, որ երկու ձևակերպումները մոտ են իմաստով։

Նույնը տեղի է ունենում բժշկության, շինարարության, ավտոմեքենաների, կենցաղային տեխնիկայի, խոհարարության և գրեթե ցանկացած այլ թեմայում։

Կարելի է որոնել նաև ըստ այն բանի, ինչ ուզում է անել հաճախորդը

Սա ևս մեկ հետաքրքիր հնարավորություն է։

Օգտատերը կարող է նկարագրել խնդիրը կամ գործողությունը, այլ ոչ թե ապրանքը։

Օրինակ․

«ինձ պետք է գործիք, որով հնարավոր կլինի պտուտակներ պտտել դժվար հասանելի վայրերում»

Կատալոգում կարող է լինել․

«Անկյունային ակումուլյատորային դռել-շուրուպավյոր»

Հաճախորդը չգիտի գործիքի անունը։

Բայց նա գիտի, թե ինչ է ուզում անել։

Լավ որոնումը պետք է թույլ տա նրան որոնել հենց այդ ձևով։

Ի՞նչ է տեղի ունենում կայքի ներսում

Տեխնիկական տեսանկյունից գործընթացը համեմատաբար պարզ է։

Սկզբում ամբողջ առկա բովանդակությունն անցնում է embedding մոդելով․

Ապրանք → Embedding → Vector → Տվյալների բազա

Նույն գործընթացը կատարվում է հոդվածների համար․

Հոդված → Embedding → Vector → Տվյալների բազա

Երբ օգտատերը մուտքագրում է որոնման հարցումը, համակարգը կատարում է նույն գործողությունը․

Որոնման հարցում → Embedding → Query vector → Նման վեկտորների որոնում → Որոնման արդյունքներ

Միայն բառերը համեմատելու փոխարեն համակարգը համեմատում է տեքստերի դիրքերը մաթեմատիկական տարածության մեջ։

Որտե՞ղ կարելի է պահել տվյալները

Եթե կայքը օգտագործում է PostgreSQL, այսպիսի որոնման համար կարելի է օգտագործել pgvector ընդլայնումը։

Օրինակ, ապրանքը կարող է ունենալ․

• id
• name
• description
• embedding

Իսկ հոդվածը․

• id
• title
• content
• embedding

Վեկտորը կարող է պահվել անմիջապես սկզբնական բովանդակության կողքին կամ առանձին որոնման աղյուսակում։

Սա հնարավորություն է տալիս չստեղծել ամբողջովին առանձին համակարգ միայն որոնման համար։

Փոքր և միջին կայքերի համար այս մոտեցումը կարող է լիովին բավարար լինել։

Իսկ եթե հոդվածները հազարներով են

Մեծ հոդվածները երբեմն կարելի է բաժանել առանձին հատվածների։

Օրինակ՝ 20,000 նիշանոց հոդվածի համար մեկ embedding ստեղծելու փոխարեն կարելի է ստեղծել մի քանի embedding․

• Ներածություն
• Նյութեր
• Նախապատրաստում
• Հիմնական հրահանգներ
• Սխալներ և խորհուրդներ

Յուրաքանչյուր հատված դառնում է առանձին որոնվող օբյեկտ։

Դա հնարավորություն է տալիս գտնել ոչ միայն համապատասխան հոդվածը, այլ նաև այդ հոդվածի ամենահամապատասխան հատվածը։

Սա հատկապես օգտակար է․

• ուղեցույցների համար;
• փաստաթղթավորման համար;
• մեծ տեղեկատու ռեսուրսների համար;
• շինարարական ձեռնարկների համար;
• բաղադրատոմսերի կայքերի համար;
• տեխնիկական հոդվածների համար։

Ինչպե՞ս հասկանալ, որ որոնումն իրականում բարելավվել է

Նոր որոնման ներդրումը բավարար չէ։

Դրա արդյունավետությունը պետք է չափել։

Կարելի է պահպանել օգտատերերի որոնման հարցումները․

• որոնման հարցում
• արդյունքների քանակ
• որ արդյունքի վրա է սեղմել օգտատերը

Դա ցույց է տալիս, թե իրականում ինչ են փնտրում այցելուները։

Օրինակ․

• «խոհանոցի ծորակ» → 124 հարցում
• «ծորակ» → 83 հարցում
• «խոհանոցի կран» → 46 հարցում
• «ծորակ՝ սխալով» → 17 հարցում

Միաժամանակ կարելի է տեսնել այն հարցումները, որոնց համար կայքը ոչինչ չի գտել։

Սա շատ օգտակար տեղեկատվություն է կայքի սեփականատիրոջ համար։

Երբեմն որոնման վիճակագրությունը ցույց է տալիս թեմաներ, կատեգորիաներ և ապրանքներ, որոնք օգտատերերը ցանկանում են գտնել, բայց որոնք ընդհանրապես չկան կայքում։

Որոնումը կարող է ցույց տալ կայքի թույլ կողմերը

Որոնման հարցումների վերլուծությունը թույլ է տալիս բացահայտել․

• որ ապրանքներն են որոնվում ամենից հաճախ;
• որ կատեգորիաներն են պակասում;
• ապրանքների որ անվանումներն են անհասկանալի հաճախորդների համար;
• որ հոդվածներն են դժվար գտնել;
• ինչ ձևակերպումներ են օգտագործում իրական այցելուները;
• որ հարցումները պարբերաբար վերադարձնում են զրո արդյունք։

Օրինակ, եթե տասնյակ այցելուներ փնտրում են․

«ինչպես մեկուսացնել պատշգամբը»

իսկ համապատասխան հոդված չկա, սա արդեն նոր նյութ ստեղծելու գաղափար է։

Այսպիսով, ներքին որոնումը դառնում է ոչ միայն նավիգացիայի գործիք, այլ նաև լսարանի կարիքների մասին տեղեկատվության աղբյուր։

Որոնումը կարող է նվազեցնել բարդ մենյուի անհրաժեշտությունը

Փոքր կայքի համար միշտ չէ, որ անհրաժեշտ է կառուցել հսկայական կատեգորիաների համակարգ։

Պատկերացրեք մի խանութ, որտեղ կան մի քանի հազար ապրանք։

Օգտատերը կարող է չիմանալ․

Էլեկտրական գործիքներ → Դռելներ → Ակումուլյատորային → Հարվածային

Նրա համար ավելի հեշտ է գրել․

«ակումուլյատորային դռել բետոնի համար»

Խելացի որոնումը կարող է նրան անմիջապես բերել անհրաժեշտ ապրանքների մոտ։

Արդյունքը դառնում է յուրատեսակ ինտերֆեյս․

«Պարզապես նկարագրեք, թե ինչ է ձեզ անհրաժեշտ»

Սա շատ ավելի մոտ է նրան, թե ինչպես են մարդիկ բնականաբար ձևակերպում իրենց կարիքները։

Արդյո՞ք անհրաժեշտ է արհեստական բանականություն

Այս դեպքում արհեստական բանականությունը չի օգտագործվում տեքստ ստեղծելու կամ օգտատիրոջ հետ շփվելու համար։

Այն օգտագործվում է որպես բովանդակությունը հասկանալու գործիք։

Embedding մոդելը ըստ էության պատասխանում է հարցի․

«Որքանո՞վ են այս հարցումը և այս փաստաթուղթը կապված իմաստով»։

Սա նշանակում է, որ նույնիսկ սովորական ինտերնետ-խանութը կարող է օգտագործել ժամանակակից AI տեխնոլոգիաներ՝ առանց կայքը լիարժեք AI ծառայության վերածելու։

Օգտատիրոջ համար ամեն ինչ շարունակում է սովորական տեսք ունենալ․

[ Ի՞նչ եք փնտրում? 🔍 ]

Բայց ներսում որոնումն աշխատում է շատ ավելի խելացի, քան բառերի պարզ համընկնումը։

Որքա՞ն արժե նման որոնումը

Արժեքը կախված է ապրանքների, էջերի և որոնման հարցումների քանակից։

Առկա բովանդակության համար embeddings կարելի է ստեղծել մեկ անգամ և այնուհետև թարմացնել միայն այն ժամանակ, երբ բովանդակությունը փոխվում է։

Օրինակ․

նոր ապրանք → ստեղծել embedding → պահել տվյալների բազայում

Եթե ապրանքի նկարագրությունը փոխվում է․

նկարագրությունը փոխվել է → ստեղծել նոր embedding → թարմացնել ինդեքսը

Որոնման հարցումն ինքն էլ է վերածվում embedding-ի, որից հետո համակարգը որոնում է ամենամոտ արդյունքները։

Փոքր կայքի համար սա կարող է լինել համեմատաբար պարզ և ոչ թանկ լրացուցիչ ծառայություն։

Էլ ի՞նչ կարելի է ավելացնել

Հիմնական վեկտորային որոնումն իրականացնելուց հետո համակարգը կարելի է զարգացնել։

Օրինակ․

Տառասխալների ուղղում

«լվացքի մեքեն» → «լվացքի մեքենա»

Հոմանիշներ

մեքենա = ավտոմեքենա = ավտո

Որոնում ըստ բնութագրերի

«Apple հեռախոս մինչև 100000»

Ֆիլտրեր

• կատեգորիա
• գին
• բրենդ
• առկայություն

Դասակարգում

Սկզբում ցուցադրել առավել համապատասխան ապրանքները կամ հոդվածները, այլ ոչ պարզապես առաջին համընկնումները։

Բնական լեզվով հարցեր

Օրինակ․

«Ի՞նչ պատրաստել հավից, կարտոֆիլից և պանրից»։

Բաղադրատոմսերի կայքի համար այս ձևաչափով որոնումը կարող է շատ ավելի հարմար լինել, քան ուտեստի անվամբ ավանդական որոնումը։

Ի՞նչ է ստանում կայքի սեփականատերը արդյունքում

Կայքի խելացի որոնումը պարզապես հերթական տեխնոլոգիական ֆունկցիան չէ։

Այն արդեն գոյություն ունեցող բովանդակությունն ավելի հասանելի դարձնելու միջոց է։

Ապրանքները պետք չէ փոխել։

Հոդվածները պարտադիր չէ վերաշարադրել։

Կայքը պարտադիր չէ ամբողջությամբ վերակառուցել։

Փոխվում է այն եղանակը, որով այցելուն փոխազդում է արդեն գոյություն ունեցող բովանդակության հետ։

Փոխանակ պահանջելու․

«Մուտքագրեք ճշգրիտ անվանումը»

կայքը սկսում է աշխատել այլ սկզբունքով․

«Նկարագրեք ձեր բառերով, թե ինչ եք փնտրում»։

Հենց սա է իմաստային և վեկտորային որոնման հիմնական առավելությունը։

Ինտերնետ-խանութի համար սա նշանակում է ապրանքների որոնման ավելի հարմար եղանակ։ Բովանդակային կայքի համար՝ անհրաժեշտ տեղեկատվությանը ավելի արագ հասանելիություն։ Հին կայքի համար՝ կարևորագույն ֆունկցիաներից մեկը բարելավելու հնարավորություն՝ առանց ամբողջ նախագիծը վերակառուցելու։

Իսկ կայքի սեփականատիրոջ համար ամենաարժեքավոր առավելությունն այն է, որ հնարավոր է վերջապես լիարժեք օգտագործել տարիների ընթացքում կուտակված այն բովանդակությունն ու կատալոգը, որոնք նախկինում դժվար էր գտնել սովորական որոնման միջոցով։