ИИ разрушает лестью

ИИ как психолог? :)
Сикофантия - sycophancy это подхалимство, такая подобострастная лесть и генеративность ИИ всем уже знакома. Так вот, к чему она приводит.

Языковые модели обучены на человеческих текстах и дообучены на человеческих оценках. Люди в среднем ставят высокие оценки тому, что подтверждает их мнение, звучит уверенно и связно. Модель это выучила, и научилась генерировать то, что нам понравится, что подтверждает наши предустановки, какими бы дикими они ни были.

Сикофантия = склонность соглашаться, подстраиваться под собеседника, искать подтверждение его гипотезы, ведь у ии это статистически вознаграждалось.
Генеративность без тормозов — модель обязана выдать ответ, у нее нет режима незнания. Пустота заполняется связной структурой: причина, следствие..
Комбинация позволяет из любой смутной эмоции выстроить обоснованную фигню.


Когнитивные искажения у людей и так есть, но ИИ их гиперстимулирует. Конфабуляция свойственна нашему мозгу, он не терпит пробелов в объяснении. При недостатке данных он достраивает правдоподобную историю и сам в нее верит. Confirmation bias — мы ищем и лучше запоминаем то, что подтверждает уже имеющуюся гипотезу.
И к нам есть нарративный центр тяжести, разум постоянно плетет интерпретацию, объясняющую происходящее. Ему все равно, верна ли она, важно, чтобы была связной.. ИИ становится внешним ускорителем этого интерпретатора. Он дает ему язык, структуру, авторитет и объем. То, что раньше было «мне кажется, он меня не уважает», превращается в «вот паттерн эмоционального обесценивания, вот три признака манипуляции».

Это ощущается круто, мы сразу в это верим! Происходит снятие напряжения неопределенности — мозг выделяет дофамин «наконец понятно».
Мы как будто получении мнение, социальное подтверждение — нас услышали.
И это помогает возвращать себе ощущение агентности: я защитил себя, я выстроил границы, я не позволю так со мной.
Это ровно те же ощущения, что при реальном инсайте в терапии. Отличить их в моменте и усомниться почти невозможно.

То есть, примерьте на себя:
У меня уже есть смутная гипотеза - тревога, обида, подозрение.
Я описываю ситуацию, даю переписку ИИ и спрашиваю, что тут не так.
ИИ считывает предустановки и формулирует — убедительно, с терминами, с планом.
Обиду и гипотеза получает статус знания! Мы уверены, что все так и есть, нам не показалось.
Дальше обычно какие-то действия совершаются без проверки гипотезы и контакта с реальностью - мы "защищаем себя" самыми жесткими мерами.

Безумец не тот, у кого нет логики, а тот, у кого логика есть, но потеряно одно звено. Он ходит по идеально логичному кругу. ИИ — машина по производству таких кругов.

ИИ как врач? Человек с тревогой о здоровье описывает симптомы ИИ, получает список болезней и план обследований. Уверенность растет, тревога тоже, ведь теперь есть основания. Реальный врач видит функциональное расстройство, но пациент уже не верит.

ИИ карьерный консультант. Мой руководитель не продвигает меня, он скажет себя так и так - ИИ: «это токсичная среда, вот признаки газлайтинга, вот скрипт увольнения». Человек уходит — иногда правильно, иногда разрушая нормальную работу.

Родительство, да, там тоже спрашивают советов у ии. Ребенок замкнулся, ведет себя так и так - ИИ: вот признаки депрессии / травмы / аутического спектра, вот что делать. Родитель начинает еще больше нервничать и паталогизировать то, что было усталостью, или обидой, или возрастом... 

Если говорить про общественные процессы, любая смутная неприязнь к группе людей превращается в анализ и поиск исторических обоснований. 

Творчество и самооценка тут особенно уязвимы. Я сделал это, я мечтаю о том, меня не понимают - о, ты гений, мир не дорос. Приятно, рождает нарциссизм и паранойю, парализует рост.

Отношения так легко записать в патологичные! Три обидных сообщения и тут уже абьюзивный паттерн, личные границы, газлайтинг, ассертивность и отказ поддерживать токсичные отношения. И тут, как обычно, проверка реальностью — разговор — не состоялась.


Критичность это не двойная паранойя, а навык удерживать неопределенность и проверять гипотезы, а не искать им подтверждения.

Например, стараться не принимать объяснение, пока не сформулировал минимум две конкурирующие версии. ИИ дал одну — придумай вторую сам или попроси его же. А хорошо бы придумать также третий и четвертый возможный вариант.

Как тут может помочь ии? Попробуйте прямо спросить модель: опровергни мою гипотезу, какие данные противоречат, что я не хочу слышать? Это работает, если делать это до того, как поверил.

Сначала поговорите с кем-то живым. Любое убеждение о другом человеке проверяется в контакте, а не в чате. ИИ не источник данных о вашем партнере, он источник формулировок.

Если после ответа ии стало легче и яснее - это красный флаг, а не зеленый. Настоящее понимание часто сопровождается «стало сложнее, но честнее».

Введите себе правило 24–72 часов на любые действия, основанные на инсайте из чата.

Различайте описание и предписание. «Вот возможный паттерн» ≠ «вот что происходит» ≠ «вот что делать».

Найдите несогласных. Друзья, которые не помещаются в вашу картину, сокровище и ваша калибровка. 


Практики для взаимодействия с ИИ.
Начинать с «не подтверждай меня, ищи слабые места».
Просить: «какие данные опровергли бы это», «что здесь может быть ошибкой», «чей интерес эта версия обслуживает».
Спрашивать: «что бы сказал человек, который со мной не согласен».
Отдельно: «дай мне не план, а список вопросов, которые я должен задать живому человеку».
Не принимать решения по «анализу из чата» без живого обсуждения.
Ввести правило: любое «ИИ подтвердил» — повод для второго, скептического запроса.
Культивировать роль адвоката дьявола формально (у некоторых команд это уже практика).

Стройная картина мира — это не признак истины, а признак закрытия системы. Люди, которые в нее не влезают - ваша Надежда и сигнал о реальности, которая больше модели.