Блог компании Команда Цифровой Трансформации Татарстана. Центр цифровой трансформации Республики Татарстан запустил площадку публичных обсуждений проектов в сфере ИИ, в которой пользователи и предобученная большая языковая модель вместе обсуждают и оценивают инициативы в сфере ИИ. В статье рассказываем, для чего нужна площадка и как она будет работать.

Сервис похож на X (ранее Twitter*. * Twitter заблокирован в РФ Роскомнадзором.), но с тем отличием, что каждый комментарий пользователя или ИИ может быть «за» или «против» проекта и иметь значимость по пятибалльной шкале, которую коллективно устанавливают пользователи и ИИ (большая языковая модель).

Такая структурность позволяет вывести «общий счет на табло» как проекта, так и отдельных тем проекта. Таким образом, обеспечивается конструктивная коммуникация, где главными принципами являются логика, беспристрастность, прозрачность.

Для чего мы это делаем?

Часто на принятие неоптимальных решений (не только в корпоративном секторе, но и в повседневной жизни) влияют ложные предубеждения, популистские тезисы сторон, эмоции, отсутствие полноты информации. Но каков был бы мир, если бы удалось свести к минимуму влияние этих негативных факторов?

Более того, теоретически, для каждой задачи существует такая комбинация действий, воспроизведя которую, можно добиться наилучших результатов.

Один из абсолютных воплощений беспристрастности и логики в массовой культуре – Спок из вселенной «Звездный путь» говорил:

«Если исключить то, что невозможно, все что останется, должно быть истиной».

Концептуально мы стремимся к тому, чтобы приблизиться к такой «идеальной комбинации» действий через коллективные с ИИ:

1. генерацию доводов за и против,
2. выявление и отсечение недостоверных доводов,
3. определение степени значимости достоверных доводов,
4. подсчет итогового результата.

С чего мы хотим начать?

В процессе госуправления появляется достаточно много гипотез, инициатив и проектов, в том числе, предлагаемых различными предпринимателями для внедрения в органах государственной власти. Мы хотим начать с того, чтобы достоверно определять лучшие продукты и инициативы и реализовывать/внедрять их в Татарстане с высшим приоритетом.

Также публичная и коллективная оценка значимостей всех комментариев сделает понятной и прозрачной обратную связь для инициаторов предложений и проектов.

Как это работает?

Создание постов

Каждый зарегистрированный пользователь может создать пост (проект) на платформе, в котором описывается, например, предложение о внедрении какого-либо решения или предложение об изменении законодательного акта, оказывающего препятствие для внедрения технологий ИИ.

Комментарии

К таким постам помимо команды уполномоченного по технологиям ИИ в Татарстане и большой языковой модели любой зарегистрированный пользователь может написать комментарии «за» и «против».

Комментарии «за» подсвечиваются зеленым, комментарии «против» – красным. Комментарии имеют также значимость по пятибалльной шкале, которая формируется исходя из оценок пользователей и большой языковой модели.

Опытные пользователи платформы (те, которые писали значимые комментарии) оценивают значимость по пятибалльной шкале. Чем опытнее пользователь, тем выше вес оценки.

Новые пользователи на платформе оценивают значимость с помощью лайков, суперлайков и дизлайков. Соотношение количества уникальных просмотров комментария и количества лайков/суперлайков/дизлайков влияет на оценку значимости комментария.

Нужно отметить, что комментарии могут иметь подкомментарии, которые тоже могут быть «за» и «против» и иметь значимость. Например, если у комментария есть красный подкомментарий («против») со значимостью 5/5, то такой подкомментарий фактически полностью опровергает тезис в комментарии, к которому он написан. Так на платформе достигается выявление недостоверных или сомнительных доводов.

Но как добиться объективности в процессе оценки значимости комментариев? Ведь очевидно будут заведомо ложные оценки, на которые влияют ложные предубеждения, лоббизм и другие факторы, не позволяющие рассчитывать на абсолютную объективность всех пользователей.

Для этого мы разработали алгоритм консенсуса.

Алгоритм консенсуса при оценке значимости комментариев

В первую очередь мы учитываем степень отклонения оценок в разных разрезах:

1. общая степень отклонения оценок среди всех проголосовавших
2. степень отклонения в оценках с учетом опыта пользователей, где вес оценки зависит от количества опыта
3. степень отклонения оценок разных по опыту групп пользователей
4. степень отклонения оценки большой языковой модели от средней оценки пользователей

Если отклонение в оценках не превышает нормального значения, то консенсусное значение значимости комментария берется как среднее между всеми оценками пользователей с учетом веса оценки, исходя из опыта каждого пользователя.

Если отклонение превышает нормальное значение, то происходит случайный отбор наиболее опытных пользователей на платформе, которые не принимали участие в оценке значимости комментария для того, чтобы такие пользователи оценили значимость “спорного” комментария. В этом случае консенсусной значимостью будет среднее значение между:

1. средним значением значимости между оценившими значимость в качестве случайно отобранных опытных пользователей
2. средним значением значимости между оценившими значимость намеренно,
3. оценкой языковой модели.

Зачем это обычным пользователям?

Мы надеемся, что среди пользователей мы найдем единомышленников, для которых беспристрастность и логика такие же важные принципы. Мы хотим построить место, в котором коммуникация проходит конструктивно, так, как никогда прежде, и где каждый пользователь будет услышан. Ну а результатом всего этого, как мы надеемся, станет не только повышение эффективности в принимаемых решениях и, соответственно, возможность для каждого человека влиять на то, что будет его окружать в будущем, но и появление нового достоверного источника информации.

В то же время, мы предусмотрели систему вознаграждений для самых беспристрастных пользователей. За значимые комментарии пользователи получают карму, которую можно менять на кристаллы. За кристаллы будет возможность приобретать дата сеты, вычислительные мощности, предобученные модели и другое.

Если пост наберет более 10 тыс. просмотров, то мы выпустим вторую часть статьи, в которой расскажем более подробно про алгоритм консенсуса и результаты экспериментов с предобученной большой языковой моделью.

А пока приглашаем вас принять участие в обсуждении плюсов и минусов Единого окна по ссылке.