Риски искусственного интеллекта в образовании: регламент для школы

Пять рисков, которые надо разобрать до запуска

Этот список лучше разбирать на реальных процессах организации. Абстрактный запрет сотрудники обойдут, если работа всё равно требует результата к пятнице.

• Передача персональных данных ученика, родителя или сотрудника во внешний сервис.
• Правдоподобная ошибка модели в документе, учебном материале или аналитической сводке.
• Автоматическое решение, которое влияет на оценку, дисциплинарную меру или право человека.
• Подмена самостоятельной работы ученика или педагога готовым сгенерированным текстом.
• Зависимость от сервиса: изменение условий, блокировка доступа, потеря истории или невозможность выгрузить результат.

Красные линии

Красные линии должны читаться за минуту. Их размещают в инструкции, на странице внутреннего портала и в материалах обучения.

• Не вводить в открытые генеративные сервисы ФИО, контакты, оценки, медицинские сведения, характеристики и другие данные, позволяющие определить человека.
• Не принимать автоматически итоговые решения об оценке, допуске, дисциплинарной мере, приёме или увольнении.
• Не публиковать сгенерированный факт, ссылку или цитату без проверки первоисточника.
• Не использовать личный аккаунт сотрудника для служебных данных и документов.
• Не скрывать инцидент. Ошибочную передачу данных надо быстро остановить и передать ответственному по внутреннему порядку.

Структура локального регламента

1. 1Цель документа и круг пользователей: сотрудники, педагоги, обучающиеся или отдельные группы.
2. 2Разрешённые сервисы и процедура добавления нового инструмента.
3. 3Разрешённые задачи и перечень запрещённых данных.
4. 4Обязательная проверка результата человеком и ответственность за финальный документ.
5. 5Правила авторства и указания помощи ИИ в учебных и методических работах.
6. 6Порядок сообщения об ошибке, утечке или спорном решении.
7. 7Срок пересмотра регламента и ответственный за обновление.

Как проверять ответ модели

Проверка зависит от задачи. Для нормативного текста открывают первоисточник и сверяют номер, дату и содержание нормы. Для учебного материала решают задачу отдельно или сравнивают с учебником. Для аналитики пересчитывают выборку и несколько исходных записей.

Фраза «ответ выглядит разумно» не считается проверкой. У каждой задачи должен быть способ подтвердить результат без помощи той же модели.

Что делать при инциденте

1. 1Остановить работу с сервисом и сохранить сведения о времени, аккаунте, запросе и переданных данных.
2. 2Сообщить руководителю процесса и ответственному за персональные данные или информационную безопасность.
3. 3Определить круг затронутых данных и пользователей, не расширяя доступ к материалам.
4. 4Действовать по внутреннему плану реагирования и применимым требованиям, включая уведомления, если они обязательны.
5. 5После разбора изменить доступ, инструкцию или процесс обучения, а не ограничиваться разговором с одним сотрудником.

Как обучить коллектив без формальной лекции

Возьмите четыре ситуации из обычной работы: письмо родителю, характеристика ученика, подготовка задания и протокол совещания. Пусть сотрудники решат, что можно передавать модели, что надо обезличить и как проверить результат.

После такого разбора правила запоминаются лучше, чем после часа общих слов об этике. Заодно выясняется, где инструкция расходится с реальной нагрузкой.