Եթե փորձված օգտատիրոջը հարցնեք, նա կասի որ հայալեզու բազմաթիվ օնլայն գրադարաններ կան, սակայն դրանք հասանելի չեն ոչ միայն Գուգլի որոնողական համակարգերի համար, այլև արդեն իսկ խնդիր են արհեստական բանականության (ԱԲ) մոդելներով աշխատող նոր որոնողական համակարգերի համար։
Հայաստանի գրադարաններում, արխիվներում և կայքերում հսկայական ծավալի գրքեր ու հոդվածներ պարզապես PDF-նկարներ են (Image-only PDF), որոնք աշխատունակ չեն թե՛ հին որոնողական համակարգերի, թե՛ նոր՝ ԱԲ հիմքով ագենտների համար։ Անփորձ օգտատիրոջ աչքի համար դրանք տեքստ են, բայց ԱԲ և որոնողական համակարգերի համար՝ «պատահական պիքսելներ» են:
Եթե համացանցում գտնեք 1960-ականների գրականագիտական գիրք, վեպ կամ պատմագիտական հետազոտության 300 էջանոց PDF սքան, որը OCR (Optical Character Recognition) չի անցել, ապա ԱԲ համար դա 300 հատ դատարկ նկար է։ Բայց եթե նույն այդ 300 էջը անցկացվի OCR-ով և դառնա որոնելի տեքստ, ԱԲ-ն կկարողանա վայրկյանների ընթացքում վերլուծել այդ շրջանի տեքստը պատասխանել հարցերին և նույնիսկ մեջբերումներ անել։
Տեխնիկական և լեզվական պատճառները
Երբ հայալեզու օգտատերը հայերենով Գուգլում կամ ԱԲ որոնողական համակարգերում (Gemini, Claude, Perplexity, ChatGPT և այլն) փնտրում է հայալեզու, նյութեր, ապա քանի դեռ ԱԲ-ը չի կարողանում «մտնել ու փնտրել» այդ PDF-ների մեջ, այն չի գտնում ու չի տալիս անհրաժեշտ պատասխաններ/նյութեր, կա՛մ տալիս է մակերեսային/սխալ տեղեկատվություն։ Ավելին, նույնիսկ եթե դուք աշխատում եք հատուկ մոդելներով որոնք հետազոտական հենք ունեն, օրինակ NotebookLM-ով, ուր վերբեռնում ենք հայալեզու PDF-ներ, որոնք սակայն հայելային սքան են ու OCR մշակում չեն անցել, տեխնիկապես մշակված չեն, ապա որոնողական համակարգերի ու ԱԲ մոդելների համար դրանք պարզապես սքանավորված դատարկ նկարներ են ու մոդելը չի կարողանում կարդալ նկարի վրայի տառերը/տեքստերը։
Բացի դա, վաղուց նկատած կլինեք, որ հայերենի այբուբենն ու հին և ոչ ստանդարտ տառատեսակները OCR համակարգերը հաճախ սխալ են ճանաչում՝ տեքստը վերածելով անհասկանալի նշանների, կրկին դուրս թողնելով հայերենն ու հայալեզու գրականությունը ընդհանուր հոսքից՝ սահմանափակելով հայալեզու տեքստերի ու գրականության հետ աշխատանքը, որոնումը, վերլուծությունը։ ԱԲ մոդելները «սնվում են» տեքստերով և եթե տեքստը թվայնացված (OCR արված) չէ, այն չի մտնում մեծ լեզվական մոդելների (LLM – Large language models) ուսուցման բազայի մեջ՝ դրանից բխող բոլոր հետևանքներով։ Դրան էլ գումարվում է այն, որ համացանցում հայատառ տեքստային բովանդակությունը կազմում է ընդհանուր ծավալի 0.000001%-ից էլ քիչ ծավալ և մենք ստանում ենք մեկուսացած հայերեն։
Մյուս խնդիրն այն է, որ ԱԲ մոդելները տեքստը կարդում են հատվածներով (տոկեններով)։ Քանի որ հայերենի բազան համացանցում քիչ է, մոդելը հայերեն բառերը բաժանում է շատ փոքր մասերի (երբեմն տառ առ տառ) ու արդյունքում՝ հայերեն տեքստը 3-5 անգամ ավելի շատ հիշողություն է զբաղեցնում ու մոդելը արագ «հոգնում» է կամ դադարում է «անիմաստ» ռեսուրս վատնել դրա ճանաչման վրա։ Այս խնդիրը նաև կոչվում է (Low-resource language), երբ առանց այն էլ սահմանափակ (մի քանի միլիոն հայերի ու հայալեզու օգտատերերի) կիրառման լեզու համարվող հայերենը, օրինակ անգլերենի համեմատությամբ, քիչ է օգտագործվում ԱԲ մոդելների ուսուցման փուլում, ինչի պատճառով հայերենն ու հայալեզու բովանդակությունը դուրս է մնում ընդհանուր հոսքից։
Հետևանքները հայալեզու օգտատիրոջ համար
Երբ ԱԲ-ը չի գտնում հայալեզու, հայատառ, OCR-ով մշակված բազաներ, ավելին, երբ այդ բազաները մշակված ու ադապտացված չեն որոնողական համակարգերի համար, ապա այն կամ սկսում է օգտվել այլ լեզուներով հասանելի աղբյուրներից, կա՛մ կարող է սկսել «հնարել» պատասխաններ։
Եվ եթե ժամանակակից լեզվական իրավիճակների համար (համացանցային մամուլ, յութուբի աուդիովիզուալ բազա) այս բազաները դեռ կարող են հասանելի լինել, ապա ավելի հին ձևերի ու ժամանակների դեպքում դրանք պարզապես կորում են, դառնում անփնտրելի, անմշակելի ու, ըստ այդմ, անհասանելի։ Սա նաև թուլացնում է հայերենի՝ առանց այն էլ խարխուլ դիրքերը, քանի որ եթե հայերենով որոնումը ԱԲ համակարգերում անարդյունավետ է, օգտատերերը (հատկապես երիտասարդությունը) ստիպված անցնում են անգլերենի կամ ռուսերենի՝ ավելի ու ավելի քիչ օգտագործելով հայերենը թվային տիրույթում։
