AI детектор на текст: колко вярна е проверката за AI текст и наказва ли Google написаното с изкуствен интелект

Какво всъщност мери AI детекторът на текст

AI детекторът не търси скрит подпис в текста. Повечето такива инструменти смятат колко предвидим е текстът за един езиков модел. Изследователите наричат тази мярка perplexity, на български грубо „изненада“. Ако всяка следваща дума е точно тази, която моделът би очаквал, изненадата е ниска и детекторът решава, че текстът е машинен. Ако изборът на думи е по-неочакван, детекторът решава, че пише човек.

Проблемът се вижда веднага. Предвидимо пишат и хората: счетоводителят в отчет, юристът в договор, човекът, който пише на чужд език с ограничен речник, служителят, който попълва описания на сто еднакви шампоана. И обратното: моделът може да бъде помолен да пише по-разнообразно и изненадата расте. Детекторът мери стил, а произходът на текста остава извън обсега му.

Колко греши проверката за AI текст: какво казват изследванията

Най-красноречивият пример е самата OpenAI. В началото на 2023 г. компанията пусна собствен класификатор за текст, писан от AI. Според тестовете, които сама публикува, той разпознавал правилно като „вероятно писан от AI“ само 26% от машинните текстове и в 9% от случаите обявявал човешки текст за машинен. През юли 2023 г. OpenAI спря инструмента, като посочи ниската му точност. Ако създателят на ChatGPT не успя да разпознае надеждно собствения си модел, имам въпроси към безплатния сайт с реклами отстрани.

Изследване на Weber-Wulff и колеги от 2023 г. тества 12 публично достъпни инструмента и две платени системи, Turnitin и PlagiarismCheck. Изводът на авторите е, че наличните детектори не са нито точни, нито надеждни, и че са склонни да обявяват машинния текст за човешки. Когато текстът е прикрит, например перифразиран, резултатите им се влошават значително.

Още по-неприятно е изследването на Liang и колеги от Станфорд, публикувано през 2023 г. в списание Patterns. Те пускат през седем популярни детектора есета на хора, за които английският не е роден език. Средно 61,22% от тези есета са обявени за писани от AI. И седемте детектора единодушно „хващат“ 18 от 91 есета, а 89 от 91 са маркирани от поне един детектор. Есетата са писани от хора.

Същото изследване показва и обратната страна. Когато авторите помолили ChatGPT да „издигне“ свои вече генерирани есета с по-литературен език, разпознаването паднало от 100% на 13%. С други думи, едно допълнително изречение в заявката към модела е достатъчно, за да мине машинният текст за човешки.

Българският текст е още по-несигурна територия

Всички изследвания, които цитирам тук, са правени върху английски текст. За български не намерих сериозна публикувана проверка на детекторите, затова и не давам число. Мнението ми е следното: инструмент, който греши така с английски, едва ли е по-добър на език, на който е имал много по-малко текст за обучение.

Има и практичен момент. Голяма част от българските продуктови текстове е превод или преразказ на описанието на производителя. Изреченията са къси, думите са едни и същи („хидратира“, „подходящ за всеки тип кожа“), структурата се повтаря. Точно това детекторът тълкува като машинно. Така текстът, писан на ръка от уморен служител в петък следобед, може да излезе „по-AI“ от добре редактиран текст на модел.

Наказва ли Google текст, писан с AI

Това е въпросът, заради който повечето хора изобщо пускат текста през детектор. Google отговори още през февруари 2023 г. в официалния си блог за търсенето: системите му възнаграждават оригинално и качествено съдържание, без значение как е създадено. Използването на AI не дава предимство и не носи наказание само по себе си.

Наказанието идва при друго нещо. В правилата на Google срещу спама има точка за масово генерирано съдържание (scaled content abuse). Тя описва създаването на много страници с основна цел да се манипулира класирането, вместо да се помогне на хората, „без значение как е създадено“. Изричен пример е използването на генеративен AI за много страници, които не добавят стойност. Въпросът на Google е дали двеста почти еднакви страници за „козметика в Пловдив“, „козметика във Варна“ и т.н. са полезни на някого.

В отделните си указания за генеративно съдържание Google иска още няколко неща: фактите да се проверяват ръчно, защото моделът предсказва думи, а не извлича истина; същото да важи за заглавия, мета описания, структурирани данни и alt текст, защото и те се показват в търсачката. За онлайн магазините има и конкретно изискване: в Google Merchant Center заглавията и описанията на продукти, генерирани с AI, трябва да се подават отделно и да са отбелязани като такива, а AI снимките трябва да носят съответните метаданни.

Затова детекторът е безполезен и за SEO. Google не пуска текста ви през ZeroGPT. Гледа дали страницата отговаря на въпроса на човека по-добре от останалите. За това как подреждаме съдържанието на магазина, за да отговаря на реални търсения, има повече в раздел „SEO и съдържание“.

Кога проверката за AI текст има смисъл и кога не

Детекторите имат някаква полза, но процентът им не може да бъде единственото основание за решение, което засяга човек или пари.

• Има смисъл като първи сигнал. Ако копирайтър, който пише при вас от година, изведнъж праща десет текста с еднакъв ритъм и без нито една конкретна подробност за продукта, детекторът може да потвърди съмнението ви. Тогава говорите с човека, не с процента.
• Няма смисъл като доказателство. Не прекратявайте договор, не удържайте пари и не обвинявайте служител само заради „90% AI“. Изследванията по-горе показват, че хора, които пишат прост и ясен текст, падат в капана най-често.
• Няма смисъл като SEO проверка. Google не наказва произхода, затова процентът не казва нищо за класирането.
• Безсмислена е и обратната игра: да пускате AI текст през „хуманизатор“, докато детекторът покаже 0%. Получавате по-лош текст, за да угодите на инструмент, който не взема никакво решение за вас.

Какво проверяваме ние вместо процента

В нашите магазини продуктовите описания и статиите се пишат с AI агенти по писан стандарт, а човек ги редактира и носи отговорност за тях. Детектор не ползваме. Ползваме списък с въпроси, които хващат истинските проблеми на машинния текст: измислени факти, празни думи и еднакви страници.

1. Всяко число има ли източник, отворен и проверен от човек? Ако не, числото се маха.
2. Съставът, размерът, обемът и начинът на употреба съвпадат ли с опаковката или с информацията от производителя? Тук моделите грешат уверено и без предупреждение.
3. Има ли поне едно изречение, което само вие можете да напишете: за коя кожа е продуктът според вашите клиенти, какво връщат най-често, с какво се комбинира?
4. Ако махнете името на продукта, може ли текстът да е за всеки друг продукт от категорията? Ако да, той не върши работа нито на клиента, нито на Google.
5. Заглавието и мета описанието казват ли това, което човек реално търси, и съвпадат ли с текста на страницата?
6. Стилът звучи ли като вас? Ако в текста има „в днешния динамичен свят“ или „революционно решение“, проблемът е в редакцията, не в детектора.

Изводът за собственика на магазин

От годините ми като консултант по европейски програми помня колко време се губеше в доказване на неща, които никой не проверяваше по същество. Проверката за AI текст е от същия тип: дава число, което изглежда научно, и отклонява вниманието от въпроса дали текстът е верен и полезен.

Ако ползвате AI за съдържание, вложете времето в редакцията и в проверката на фактите. Ако наемате хора да пишат, съдете ги по резултата и по разговора с тях. А ако искате това да става по правила, а не на късмет, вижте как работим с AI агенти в раздел „AI агенти“.