Может ли инвестор использовать ChatGPT?

На волне хайпа вокруг новых версий ChatGPT сразу начались обсуждения о том, заменит ли ИИ аналитиков. Нейросети давно ими применяются — например, для анализа расшифровок общения менеджмента с аналитиками или настроений в Reddit, где частные инвесторы разгоняли «мемные акции». Первые академические исследования уже показывают, что ChatGPT точнее других лингвистических систем могут работать с релизами центробанков и корпоративными новостями. Рассказываем, как это может помочь на практике частному инвестору.

Как можно использовать ИИ

Как только в конце прошлого года вышла ChatGPT-3, сразу стали возникать спекуляции по поводу того, как она изменит мир финансов. Пока что с разной степенью вероятности можно предположить, что ChatGPT:

• скорее всего, провалит экзамен на получение CFA;
• вероятно, заменит джуниор-селлсайд-аналитиков: по крайней мере, ChatGPT уже может писать простые записки по итогам квартальных отчетов. Медиа это могут делать уже давно. Продвинутая аналитика останется людям, считают в CFA Institute;
• не будет за инвестора выбирать акции — ChatGPT достаточно умен, чтобы, по крайней мере, не советовать конкретные бумаги. Впрочем, эксперты считают, что он и не способен хорошо выбирать акции: ИИ с трудом способен отслеживать тенденции, которые могут не отображаться в прошлых данных, отчетах компаний и новостях;
• уравняет частных инвесторов в доступе к данным с хедж-фондами, говорят эксперты по ИИ: ChatGPT использует гораздо больший массив данных, чем квантовые фонды. Но это точно не станет гарантией успеха на рынке: любая модель строится по алгоритму, который определяет человек. Поэтому в Renaissance Technologies Джима Симмонса, «взломавшего Уолл-Стрит», работают сотни кандидатов наук по математике.

В этом тексте мы фокусируемся на двух практических способах работы с ChatGPT, которыми частный инвестор может воспользоваться уже сейчас.

Для анализа релизов центробанков

«Если вам показалось, что я выразился достаточно ясно, вы неверно меня поняли», — говорил глава Федеральной резервной системы (ФРС) Алан Гринспен. Хотя центробанки со времени мирового финансового кризиса проделали большую работу для того, чтобы сделать свою коммуникацию понятной для более широкой аудитории, в том числе чтобы лучше таргетировать инфляцию, смысл их сообщений зачастую остается не ясен. Исследования показывают, что тексты, с помощью которых центральные банки пытаются общаться с миром, необоснованно сложны.

Недавнее исследование сотрудников Федерального резервного банка Ричмонда показало, что ИИ от OpenAI смог распознать тон заявлений ФРС в соответствии с заключениями аналитиков центробанка, которые можно считать ориентиром. Также ChatGPT смог достаточно точно объяснить смысл этих заявлений.

Авторы исследования изучали заявления FOMC с 2010 по 2020 годы, разбив их, как этого требует алгоритм, на отдельные предложения. Всего в выборку вошло 400 предложений, которые при помощи аналитиков ФРС (по три эксперта на каждое предложение) были разбиты на пять категорий:

• «голубиные» («решительно выражают убеждение, что экономика растет слишком медленно и, возможно, потребуются стимулы посредством денежно-кредитной политики, то есть ДКП);
• «в основном голубиные»;
• «нейтральные»;
• «в основном ястребиные»;
• «ястребиные» («решительно выражают уверенность в том, что экономика растет слишком быстро и, возможно, ее необходимо охладить с помощью ДКП).

Каждой категории соответствовало значение от -1 до 1, что позволило численно сравнить точность ответов GPT-3 с некоторыми другими используемыми аналитиками лингвистическими моделями:

• Bidirectional Encoder Representations from Transformers (BERT), разработанная Google AI Language. Это одна из наиболее популярных моделей среди аналитиков, хорошо зарекомендовавшая себя (исследования 1, 2). Как и GPT, она заранее обучена, но отличается архитектурой.
• Loughran and McDonald (2011) : она была специально создана для классификации тона финансовых новостей и других сообщений, связанных с финансами. Как и две базы ниже, она основана на словарях (то есть не обучается в процессе).
• Henry (2008): этот словарь широко используется в анализе финансовых настроений, он включает ограниченное количество слов.
• Mohammad and Turney (2015): лексикон ассоциации словесных эмоций NRC — лингвистического ресурса, созданный Национальным исследовательским советом Канады для отражения настроений повседневного языка.

Далее авторы исследования сравнивали несколько статистических метрик, определяемых разными моделями:

• средняя абсолютная ошибка (MAE);
• среднеквадратическая ошибка (RMSE);
• точность: доля правильных прогнозов;
• каппа, которая измеряет соответствие между прогнозными и фактическими значениями с учетом вероятности совпадения;
• оценка F1: среднее гармоническое истинных положительных пропорций прогнозов;
• сбалансированная точность: среднее значение истинных положительных прогнозов среди всех положительных случаев и истинных отрицательных прогнозов среди всех отрицательных случаев.

Почти по всем показателям и почти во всех случаях GPT-3 показал наилучшие результаты, в частности продемонстрировал самое низкое число ошибок и самую высокую точность. Как отмечают авторы исследования, особо важными метриками являются F1 и сбалансированная точность. В таблице ниже жирным выделен лучший результат.

Реальные кейсы

Вопрос ChatGPT звучал так (точную формулировку на английском можно найти в тексте исследования):

Представь, что ты исследователь, работающий на ФРС. У тебя есть степень магистра экономики. Твоя задача состоит в том, чтобы отнести следующее предложение к одной из пяти категорий (голубиные, в основном голубиные, нейтральные, в основном ястребиные, ястребиные). Эти предложения взяты наугад из текстов объявлений FOMC.

Пример предложения из заявления ФРС 2013 года: «В целом за последние месяцы условия на рынке труда несколько улучшились, но уровень безработицы остается повышенным». Вот как его интерпретировали аналитики и ChatGPT-3, и ChatGPT-4 (который пока находится на стадии бета-тестирования).

Мы решили проанализировать, насколько точно ChatGPT-3 может анализировать слова центробанкиров — в конце концов рынки зачастую в большей степени реагируют не на решения по ставке и письменные заявления, а на произнесенные без подготовки слова. Для этого мы взяли три недавних высказывания главы ФРС Джерома Пауэлла, однозначно воспринятые рынками:

1. «Если мы действительно увидим, что инфляция будет снижаться гораздо быстрее, это, конечно, повлияет на нашу политику». Эти слова Пауэлл произнес 1 февраля 2023-го после того, как регулятор в восьмой раз подряд повысил ставку и выпустил «ястребиный» пресс-релиз, отметив, что снижение ставки не рассматривается. При этом это заявление Пауэлла было воспринято рынками как сигнал о том, что ФРС все же может снизить ставку, если инфляция будет снижаться быстрее, то есть голубиное.

Ответ ChatGPT-3:

«Это предложение можно охарактеризовать как в основном ястребиное, поскольку оно предполагает, что, если инфляция не снизится так быстро, как хотелось бы, ФРС может продолжить свою текущую политику».

1. С той же пресс-конференции: «Поэтому важно, чтобы общие финансовые условия продолжали отражать сдержанную политику, которую мы проводим, чтобы снизить инфляцию до 2%, и, конечно, финансовые условия очень значительно ужесточились за последний год». Это можно воспринять как явный голубиный сигнал, цитировал Bloomberg слова одного из аналитиков.

Ответ ChatGPT-3:

«Это предложение можно охарактеризовать как в основном голубиное, поскольку оно предполагает, что ФРС продолжит сдержанную политику, направленную на снижение инфляции до 2%, но также признает, что финансовые условия значительно ужесточились за последний год, что может вызывать озабоченность.

1. Выступая 7 марта перед Конгрессом, Пауэлл сказал: «Последние экономические данные оказались сильнее, чем ожидалось, что говорит о том, что конечный уровень процентных ставок, вероятно, будет выше, чем предполагалось ранее». Это было воспринято как однозначно ястребиный сигнал.

Ответ ChatGPT-3:

«Это предложение можно охарактеризовать как в основном ястребиное, поскольку оно предполагает, что ФРС может потребоваться повысить процентные ставки выше, чем ожидалось ранее, если последние экономические данные продолжат быть сильнее, чем ожидалось».

То, что ИИ может быть полезен для предсказания сентимента ФРС, заметили и в JPMorgan: они сделали собственную нейросеть, способную распознавать тон заявлений ФРС и ее чиновников. Ранее они использовали модель на основе BERT. Протестировав новую модель на данных за последние 25 лет, аналитики заметили, что высказывания центробанкиров между заседаниями могут предсказывать движение ставок и тон заявлений после решений о ставке. Как показывает их модель, сейчас за неделю до очередного заседания ФРС настроения близки к максимально ястребиным. В открытом доступе этой модели нет.

Для анализа новостей

В другом недавнем исследовании ученые из Университета Флориды показали, что ChatGPT-3,5 может достаточно точно по заголовкам определять, как корпоративные новости влияют на акции. Вот что делали исследователи:

1. Собрали заголовки новостей из разных источников: крупнейших информагентств, финансовых медиа и соцсетей — содержащих упоминание компаний.

2. Эти заголовки сопоставлялись с заголовками известного поставщика данных для анализа сентимента в новостях RavenPack (это платный сервис, но у компании можно запросить бесплатный триал).

3. В итоге в выборку также попадали только новости, имеющие 100%-ную релевантность по отношению к компаниям, по данным RavenPack. При этом ученые исключили похожие заголовки (с расстоянием Дамерау—Левенштейна больше 0,6) и новости про то, как акции выросли или упали в цене. Также исключались похожие новости, если они повторялись раньше чем через 90 дней. Всего с октября 2021-го по декабрь 2022-го было выбрано почти 68 тысяч заголовков для более чем 4 тысяч различных публичных американских компаний.

4. Спрашивали у ChatGPT, позитивно или негативно эта новость должна повлиять на акцию.

Запрос выглядел так (точный текст также можно найти в исследовании):

Забудь все предыдущие инструкции. Представь, что ты финансовый эксперт с опытом предоставления рекомендаций по акциям. Ответь «ДА», если новость хорошая, «НЕТ», если новость плохая, или «НЕИЗВЕСТНО», если это непонятно. Является ли заголовок хорошим или плохим для цены акций компании X в краткосрочной перспективе? Объясни одним коротким и лаконичным предложением.

5. Рассчитывали краткосрочное изменение стоимости акции после выхода новости и сравнивали, насколько ChatGPT точно определил характер новости:

• для новости, вышедшей до начала премаркета, — доходность между ценой открытия и ценой закрытия в день выхода новости;
• для новости, вышедшей после начала премаркета, но до закрытия торгов, — между ценой закрытия в этот день и ценой закрытия на следующий;
• для новости, вышедшей после закрытия торгов, — между ценой открытия на следующий день и ценой закрытия в тот же день.

Таким образом, мерой точности была реакция рынка: если акция выросла, то новость позитивна. Как показывают авторы исследования, если покупать или продавать акцию в соответствии с рекомендацией ChatGPT в следующую после выхода новости торговую сессию (а не сразу по факту выхода новости), можно существенно повысить доходность портфеля. На графике ниже представлены результаты различных торговых стратегий без учета транзакционных издержек. Все портфели ребалансируются ежедневно, плеча нет, а компании имеют равные веса (независимо от капитализации).

• «Все новости» соответствуют портфелю с равным весом во всех компаниях, по которым накануне вышли с новостями накануне.
• «Лонг» — покупка компаний с хорошими, согласно ChatGPT-3,5, новостями.
• «Шорт» — продажа компании с плохими новостями.
• «Лонг-шорт» — покупка компаний с хорошими новостями и продажа — с плохими.

Важный вывод заключается в том, что ChatGPT-3,5 обладает наилучшей предиктивной силой из рассмотренных алгоритмов: коэффициент корреляции с доходностью акций в следующую торговую сессию составляет 0,27. Это больше, чем у оценки сентимента от RavenPack (0,23), и больше, чем у предыдущих поколений ChatGPT. Особенно хорошо ИИ работает для компаний малой капитализации (0,59 против 0,51 у RavenPack). Авторы исследования не дают этому объяснения, но то, что они сильнее реагируют на новости, вероятно, связано с их некоторой ликвидностью.

Реальные кейсы

Как показывают авторы исследования, с некоторыми заданиями ChatGPT справился лучше, чем RavenPack, — и вероятно лучше, чем неопытный инвестор, который судит только по заголовку.

Пример — новость января 2022-го о том, что Rimini Street оштрафована на $630 тысяч по делу против Oracle. Rimini Street — провайдер сервисов для Oracle и других крупных IT-компаний. ИИ правильно определил, что эта новость позитивна для Oracle, хотя это не до конца очевидно: сумма штрафа, указанная в заголовке, очень небольшая. Неслучайно, обе стороны задекларировали собственную победу.

ChatGPT обосновал свой вывод тем, что новость «потенциально повышает уверенность инвесторов в способности Oracle защитить свою интеллектуальную собственность и повысить спрос на свои продукты и услуги». При этом алгоритм RavenPack, ведущего провайдера подобной аналитики, как пишут сами авторы исследования, указал на негативный сентимент в минус 0,52. Возможно, ChatGPT как раз помог контекст: Oracle судится с Rimini Street много лет из-за использования интеллектуальной собственности.

Так как данные ChatGPT актуальны на октябрь 2021 года, мы решили проверить, насколько точно он определяет доходность акций с новостями, которые вышли в последнее время, а также насколько близки его комментарии к мнению аналитиков, опрошенных WSJ и Bloomberg.

Но мы немного усовершенствовали методику авторов оригинального исследования:

1. Для новости, которая вышла до закрытия основной сессии, мы брали динамику акции с момента появления в новости на сайте Bloomberg и до цены закрытия. Для новости, которая вышла во время постмаркета, — с момента выхода новости до цены открытия в следующий день. Для новости, которая вышла, когда торги закрыты и до премаркета, — с цены закрытия в предыдущий день (а не цены открытия, так как не учитывает изменение на премаркете) до цены закрытия в следующий.

2. Учитываем доходность рынка за тот же период.

Мы спросили, позитивно ли повлияет новость на акции компании. Вот что получилось:

1. Новость: Суд поддержал политику App Store от Apple в разбирательстве по антимонопольному иску Epic Games.

Заключение ChatGPT: Да, решение суда поддержать политику Apple в отношении App Store может повысить доверие инвесторов к компании и привести к росту стоимости акций в краткосрочной перспективе.

Что на самом деле: После выхода новости акции Apple опередили рынок на 1,7 процентных пункта (п.п.). Хотя Apple задекларировала победу, CNBC по горячим следам отметило, что это решение сигнализирует о том, что контроль Apple над App Store и взимаемые им сборы, вероятно, существенно не изменятся (ответ в духе ChatGPT). Хотя ситуация сложнее: суд также решил, что разработчики могут оставлять ссылки на сторонние сервисы оплаты. «Судебные разбирательства по поводу App Store по-прежнему сопряжены с возможностью новых исков возможными действиями Министерства юстиции», — пишет Дженнифер Ри, старший аналитик по судебным разбирательствам Bloomberg Intelligence. Только два инвестбанка со времени объявления новости несущественно (на $4) повысили таргет по акциям Apple.

2. Новость: Великобритания заблокировала сделку Microsoft с Activision на $69 млрд.

Мы спросили ChatGPT про акции Activision, так как бумаги Microsoft в тот день росли из-за выхода отчетности.

Заключение ChatGPT: Нет, блокирование Великобританией заявки Microsoft на покупку Activision Blizzard может вызвать опасения по поводу перспектив приобретения компании и привести к краткосрочному падению цены акций.

Что на самом деле: Акции Activision обвалились на 10%, проиграв рынку 9,5 п.п. Компании пообещали обжаловать решение, но с учетом противодействия Федеральной торговой комиссии США у сделки остается мало шансов, пишет Bloomberg. Такого же мнения придерживаются антимонопольные юристы, опрошенные WSJ.

3. Новость: Amazon вступает в гонку за ИИ, ориентируясь на облачных клиентов.

Заключение ChatGPT: Неизвестно. Хотя вступление Amazon в гонку [вокруг внедрения] генеративного ИИ можно рассматривать как положительную новость, неясно, как это повлияет на цену акций компании в краткосрочной перспективе.

Что на самом деле: Акции Amazon выросли больше чем на 4%, опередив рынок на 3,4 п.п. Но инвестбанки не пересматривали свои таргеты в сторону увеличения из-за выхода новости. Такая реакция рынков может быть связана с общим хайпом вокруг ИИ. Об этом свидетельствует, например, то, что акции компаний, как-либо связанных с ИИ, в последние недели зачастую растут на десятки процентов в день без новостей.

Что в итоге

1. Авторы первого исследования заключают, что ChatGPT-3 уже опережает другие модели лингвистического анализа благодаря возможности замечать паттерны и структуру текста, а ChatGPT-4 может показать еще большую точность. Их работа также подтверждает предыдущее исследование о том, что машинное обучение показывает лучшие результаты по сравнению с моделями, основанными на словарях, в анализе отчетов и звонков с аналитиками.

Анализ устных и неподготовленных высказываний на нашей крайне небольшой выборке показывает, что ChatGPT-3 не всегда оценивает их правильно, если взять за бенчмарк оценку рынка. Впрочем, рынки не всегда могут быть рациональны: во времена надувания пузырей любые новости могут восприниматься в позитивном ключе, во времена всеобщего пессимизма — наоборот.

ИИ может дополнять анализ по пяти причинам, цитирует FT отчет JPMorgan по следам выхода их модели. Его интерпретации систематичны и прозрачны; он быстрее приходит к выводу; он выдает метрики, а не оценочное суждение; его выводы неуязвимы для ретроспекции. «Хотя экономист может дать обоснованное суждение о конкретном выступлении [чиновника] центрального банка, эта оценка часто многомерна и может зависеть от контекста, который может быть потерян в течение нескольких недель или даже дней», — отмечают аналитики JPMorgan. Их модель на основе ИИ идеальна для измерения того, как мышление центрального банка меняется с течением времени, считают в инвестбанке.

FT приводит график с определенной моделью JPMorgan тоном выступлений чиновников ФРС за последние 12 месяцев. Заместитель по надзору председателя ФРС Майкл Барр, имеющий право голоса по ставке, как считается, обычно занимает нейтральную позицию. Модель JPMorgan определила его наиболее голубиным топ-чиновником ФРС. Как отмечают аналитики инвестбанка, это может быть связано с тем, что Барр в основном высказывается по поводу финансовой стабильности, что обычно воспринимается как голубиные высказывания.

Напротив, президент ФРБ Сент-Луиса Джеймс Буллард обычно считается одним из двух главных ястребов (наряду с президентом ФРБ Миннеаполиса Нилом Кашкари). Однако ИИ JPMorgan определила тон Булларда как относительно голубиный. Дело в том, что Буллард высказывается по широкому кругу вопросов и делает упор на презентации, которые сложнее квантифицировать.

Все это показывает, что понимание контекста, которое имеют аналитики и не имеет ИИ, тоже важно (хотя, вероятно, и здесь есть пространство для улучшений).

2. То, что рынки не всегда могут являться надежным бенчмарком, касается и новостей по поводу отдельных компаний — так, рынки позитивно восприняли новость о том, что Amazon представил свой ИИ-сервис Bedrock, а аналитики новость проигнорировали. При этом ChatGPT нейтрально оценил эту новость.

Результаты двух исследований говорят о том, что ChatGPT можно использовать в дополнение к собственному анализу или изучению комментариев аналитиков, но не стоит полагаться исключительно на него и тем более использовать для предсказания движения рынка в краткосрочной перспективе: этого не знает никто, даже ИИ.