Microsoft вместе с Американской федерацией учителей и нью-йоркским профсоюзом United Federation of Teachers объявили о национальном стандарте безопасности и конфиденциальности ИИ для школ. Эти правила ИИ для школ вводят юридически обязательные ограничения для использования школьных ИИ-инструментов.
Документ появился после нескольких месяцев переговоров на фоне отсутствия в США федеральных и региональных правил по искусственному интеллекту в школах. Стороны называют его первым в своем роде договором, а школьные округа в США смогут включать эти условия прямо в соглашения с Microsoft, чтобы сделать их обязательными для исполнения.
В основе стандарта — три прямых запрета и несколько требований. Компании не смогут использовать данные учеников для обучения ИИ-моделей, учащихся нельзя будет отслеживать, а системы не должны принимать решения без участия человека. Школы, родители и учителя должны получать понятные объяснения о том, как работают инструменты, какие данные они собирают и какие ограничения в них заложены.
Microsoft и профсоюзы также прописали требования к безопасности и контролю. ИИ-системы должны избегать вредных и манипулятивных сценариев, защищать чувствительную информацию и соответствовать строгим нормам по безопасности, подотчетности и ответственному использованию. Школы сохраняют право определять, когда и как применять такие инструменты, а компании обязаны ясно сообщать об изменениях в продуктах, рисках и механизмах контроля.
Президент AFT Рэнди Вайнгартен назвала соглашение жестким и сказала, что оно должно реально защищать учеников и семьи. По ее словам, именно юридически обязательные положения важны, а не набор пожеланий, когда речь идет о данных детей и школьной среде.
Вице-председатель и президент Microsoft Брэд Смит сказал, что стандарт задает высокую планку для защиты детей и безопасности ИИ, и пообещал расширить соглашение на все школьные округа страны. Глава UFT Майкл Малгрю, в свою очередь, заявил, что документ дает семьям и школам информацию и защиту, которые они требовали, а также позволяет школьным округам расторгать соглашения и добиваться возмещения ущерба в случае нарушений.
Вайнгартен еще в мае выступала за жесткие рамки для технологий в образовании. В той речи она призывала к полному запрету экранов в начальной школе до второго класса, к запрету студенческого ИИ в начальной школе и к запрету чат-ботов-компаньонов для учеников младше 16 лет.
Годом ранее AFT представила собственные «Commonsense Guardrails for Using Advanced Technology in Schools» с девятью базовыми принципами, которые должны были обеспечить информированность и защиту семей. Еще через год профсоюз объявил о создании National Academy for AI Instruction — программы, которая дает педагогам обучение по использованию и неправильному использованию ИИ-инструментов.
Инициатива также вписывается в уже принятые решения на уровне отдельных школьных систем. Нью-Йоркские школы, включая Нью-Йорк Сити Public Schools, внедрили рамки, ограничивающие использование экранов и ИИ у младших учеников, а похожий подход, по словам Вайнгартен, приняли и другие системы, включая Los Angeles Unified School District и New York State United Teachers.
В самой Microsoft подчеркивают, что школа должна сохранять контроль над тем, когда и как включать ИИ. Для родителей и учителей это означает право знать, какие данные собираются, и понимать, как именно эти инструменты меняются со временем и какие ограничения на них распространяются.
В документе отдельно сказано, что образовательные округа смогут опираться на него напрямую в своих договорах с Microsoft. Это соглашение можно включить в действующие или новые контракты.