Выпуск 554. Тест Тьюринга

Как только компьютеры появились, сразу возник вопрос: насколько умными они могут быть?

В далеком 1950-м году английский математик Алан Тьюринг предложил простой тест на компьютерную разумность.

Идею теста ему подсказала популярная игра на вечеринках: «Отличи мужчину от женщины». В этой игре мужчина и женщина отправлялись в разные комнаты. Гости вечеринки передавали вопросы, а участники печатали ответы на машинке. Задача участников — выдать себя за другой пол, а задача гостей — вывести их на чистую воду.

Тьюринг задумался, а сможет ли компьютер выдать себя за женщину?

В результате он предложил тест для определения компьютерной разумности.

Кто тут робот?

— Мы заменим тебя этим роботом!
— Что он умеет делать?
— Ничего.

Тест Тьюринга проводится так. В двух комнатах находятся:

• Компьютер, задача которого притвориться человеком (A).
• Человек, задача которого отвечать на вопросы честно (B).

В третьей комнате сидит обычный человек, который задает вопросы (C). Он называется «судья».

Ведущий теста передает вопросы судьи и ответы на них в письменном виде. Любопытно, что раньше письменное общение было нужно потому, что компьютер отвечал очень медленно. А сейчас оно нужно потому, что компьютер отвечает слишком быстро.

Если судья не сможет определить, кто из двух отвечающих робот, то считается, что машина обрела разум.

Конечно же, судья будет пытаться «валить» компьютер вопросами про любовь и отношения. Также затрагивать другие эмоциональные темы. При этом мы знаем, что человек человека поймет всегда, потому что сам что-то чувствует. А вот бездушная железяка, как нам кажется, моментально провалит экзамен.

Хитрость этого теста в том, что нельзя заранее написать единственно правильный набор вопросов, иначе программист, который пишет программу для компьютера, пройдет тест Тьюринга с легкостью.

Ключевой элемент методики именно в том, что мы не знаем, о чем и как будет спрашивать человек.

Считается, что первый раз машина прошла тест Тьюринга в 1966 году. Программа, известная как ELIZA, комбинировала фразы на основе ключевых слов в вопросах. В результате смогла обмануть некоторых людей, заставив их поверить в то, что они разговаривают с реальным человеком.

Любопытно, что при этом некоторых испытуемых очень трудно было в конце эксперимента убедить, что ELIZA — не человек.

Но в этих экспериментах не соблюдалось важное условие: судья изначально не знал, что беседует с роботом, поэтому генерацию хитрых фраз воспринимал как особенность собеседника.

После этого тест Тьюринга был надолго забыт, и только в 1991 году к тесту вновь возник интерес.

Компьютер на третьем месте

В наше время непонятно,
кто более сумасшедший:
тот, кто разговаривает с котом,
или тот, кто с компьютером.

В 1991-м Хью Лебнер стал проводить конкурсы компьютерных программ с вручением премии Лебнера за лучшее прохождение теста Тьюринга.

Пока золотую медаль получить никому не удалось, но премия Лебнера привела к появлению так называемых «Искусственных разговорных объектов» (Artificial Conversational Entities). Программы эти в целом бесполезные, но поговорить любят!

Победитель 2008 года — разговорный объект Elbot — все-таки сумел обмануть трех судей.

Судейство на конкурсе Лебнера строгое. Эксперты заранее готовятся к турниру и подбирают весьма заковыристые вопросы. Их разговор с программами напоминает уже не общение судьи, а допрос следователя.

На чем же пока ловят разговорных существ? Как это ни странно… на повторяющихся вопросах. Дело в том, что компьютеры пока не сообразили, что люди не любят повторяться. На один и тот же задаваемый вопрос люди дают разные ответы. А компьютеры с их железной логикой такого не понимают: на одни и те же вопросы они дают одни и те же
ответы. Вот тут-то их и ловят.

Если подходить строго, то тест Тьюринга ни одна программа еще не прошла, но процент судей, которых машина вводит в заблуждение, постепенно растет.

К тому же сейчас вместо бесполезных разговорных объектов пришли нейросети, которые, напротив, весьма полезны.

Я спросил у ChatGPT про тест Тьюринга. Нейросеть ответила честно (а может и схитрила, кто знает).

Поэтому ждем очередных достижений IT-технологий.

Пройдите обратный тест Тьюринга:
Как вы докажете, что вы — человек,
а не разговорный объект?