Раз мы на хвалі хайпу да нейронак, GPT-3, ChatGPT і г.д., давайце распавяду пра нашага суайчынніка, без якога ўся гэтая гісторыя не здарылася б.

Завуць яго Дзмітрый Багданаў, ён з Гомеля і прыдумаў механізм “attention” альбо “увагі”. Вось ягоны артыкул, які працытаваны 27.000 разоў, вось ягонае інтэрв’ю.

Паспрабую проста патлумачыць, што канкрэтна ён прыдумаў. Пабудаваць нейронку, якая будзе генерыраваць тэкст, не складана: даем ёй уводныя даныя з N сімвалаў і просім прадказаць N+1 сімвал. Вось як выглядае тэкст, згенерыраваны такой нейронкай, навучанай на тэкстах Караткевіча:

"а майка цяліцыга не было можа таком да выкрывага да стаў на ног, сяброў у такой стале па думкі і далёкага на караской адразу пад яго да стаялола страшны адна з нашкат.”

Нешта ёсць, але слабенька. Можна лепш – скарміць ёй больш тэкстаў, даўжэй яе трэніраваць – але інтуітыўна зразумела, што вучыцца прадказваць наступны сімвал – гэта занадта нізкі ўзровень абстракцыі і таму неэфектыўны.

Далей народ спрабаваў прадказваць цэлыя словы. Працавала лепш, але не ідэальна. Праблема тут у тым, што сэнс пэўнага слова можа залежыць не ад папярэдняга слова, а ад слова напачатку сказа ці ўвогуле ў іншым сказе. А вучацца яны ўсё роўна крок за крокам, слова за словам.

Дзмітрый прыдумаў, як гэта абыйсці і даць магчымасць нейронкам вывучваць складныя сэнсавыя залежнасць у тэкстах. Назваў ён гэта “механізмам увагі” - кажучы проста, гэта матэматычны апарат, які дазваляе нейронцы аналізаваць словы ў камбінацыі з іншымі словамі ў тэксце, групамі. Звяртаць увагу на кантэкст і ігнараваць тыя часткі тэксту, якія для кантэксту няважныя.

Уявіце пераклад сказу:

Ты мая рыбка, ты мая пцічка, раньшэ работала в школе цехничкай

Пры перакладзе слова “рыбка”, на слова “работала” такая нейронка зверне больш увагі, а слова “раньшэ” праігнаруе, бо слова “работала” дае дадатковы кантэкст - размова пра асобу жаночага роду.

Бонус такога падыходу яшчэ і ў тым, што нейронку не трэба вучыць крок за крокам, можна гэта рабіць у паралелі, што і дазволіла скарміць тэрабайты тэкстаў у GPT-3, пра які мы чуем з кожнага праса апошнія месяцы