自社のソフトウェアをユーザーに販売・ライセンスする上で利用規約を定める際、不正コピー、リバースエンジニアリング、等といった事項を禁止行為とすることが多いと思う。
ここで、提供するソフトウェアがAIモデルの場合は、更に考慮すべき事項として、欧州AI法（EU Artificial Intelligence Act）が挙げられる。
これは世界初となるAIの開発や運用を包括的に規制する法律（2024年5月21日に成立し、8月1日に発効）であり、AIをリスクの程度で分類し、その程度に応じた規制を適用するものとなる。
具体的には、AIシステムは次の4段階に分類され、最上位の「容認できないリスク」に該当するAIシステムは禁止される。
| 分類 | 詳細 | 規制内容 |
|---|---|---|
| 容認できないリスク（Unacceptable risk） | 人々の安全、生活、基本的人権に対する明白な脅威となるもの | 禁止 |
| 高リスク（High risk） | 人々の健康、安全、基本的人権に重大なリスクをもたらす可能性のあるもの | 厳しい手続きの義務付け |
| 限定的リスク（Limited risk） | AI利用における透明性が欠如するもの | 生成AIによるコンテンツであることを明示 |
| 最小のリスク（Minimal risk） | リスクが最小限またはリスクなしとみなされる | 自由に利用可能 |
特に「容認できないリスク」には倫理的なものが多分に含まれるため、欧州では勿論のこと、欧州以外の国に販売する場合であっても、欧州AI法で定める容認できないリスクとなる使い方を禁止するよう利用規約に定めておくのが個人的には安全かと思う。
以下、長文にはなるが、「容認できないリスク」について自分なりにまとめたものを掲載する。
世の中にはChatGPTやGeminiをはじめとする様々なAIツールがあるが、皆これらを遵守するよう出力を制御するのにかなりの気を遣っているのだろう。
欧州AI法における「容認できないリスク」は原則禁止
上述の通り、欧州では「容認できないリスク」に該当するAIシステムは禁止されており、具体的な禁止行為は以下の通りとなる。
概要だけ知りたければここだけ見てもらえば良いが各項目の詳細が気になるなら、以降にも目を通してみて欲しい。
| 禁止行為 | 内容 |
|---|---|
| 有害な操作と欺瞞 | 視覚・聴覚・その他の刺激を利用して、本人が気づかないうちに判断を歪め、重大な不利益を与える使い方 |
| 脆弱層への悪用 | 子供、高齢者、障害のある人、経済的弱者などの脆弱性につけ込み、行動や判断を誘導して害を与える使い方 |
| 社会的信用スコアリング | 個人の行動や推測された性格などから「スコア」を作り、公共サービス・待遇・権利に不利益を与えるような運用 |
| 犯罪予測のためのリスク評価 | 住所、年齢、国籍、婚姻状況などの属性情報だけから「犯罪を起こしそう」と判断すること |
| 顔認識データベースの無差別収集 | インターネットや監視映像から、本人の同意なく人の顔を収集・学習・照合する行為 |
| 職場・教育現場での感情推定 | 従業員や学生の「感情」を読み取り、監視・評価・選抜に利用すること |
| 生体情報によるセンシティブ属性の推定 | 顔・声・歩き方などから、人種、宗教、政治的意見、性的指向などを推測・分類すること |
| 公共空間での「リアルタイム」遠隔生体認証 | 公共の場で、リアルタイムに個人を特定する |
有害な操作と欺瞞（Article5(1)(a)）
サブリミナル操作や、意図的に人を欺く・操作するAIを使って、人の判断力を損なわせ、本人が本来取らなかったであろう行動を取らせて重大な害を与える使い方は禁止される。
- 禁止される具体例
- 視覚的サブリミナル：意識的には認識できないほど短時間に画像や文字を表示
- 聴覚的サブリミナル：他の音に紛れる、または非常に小さい音量でメッセージを流す
- 触覚的サブリミナル：人が気づかない程度の刺激で感情や行動を左右する
- 不可知刺激：人間の感覚では全く検知できないレベルの刺激（高速の点滅や可聴範囲外の音）の使用
例えば、広告で潜在的に購買行動を誘導し、経済的損失を与えるようなものは良くない、ということである。
- 禁止されない具体例
- サブリミナル療法で喫煙などの悪習慣を断つよう促す治療用チャットボット
- ユーザーの感情を推測し、抑うつ的な楽曲への過度な接触を回避する音楽サービス
- 教育目的でフィッシング攻撃を模倣するために用いられる、AIを活用した欺瞞的手法
このように、サブリミナル操作であっても、それがユーザーの利益に繋がる場合は例外的に認められる。
脆弱層への悪用（Article5(1)(b)）
年齢、障害、社会的・経済的弱者などの脆弱性を利用して、その人や集団の行動を歪め、重大な害を及ぼす使い方は禁止される。
- 禁止される具体例
- 子供に対し、高い棚の探索、鋭利な物体の取り扱いなど、次第に危険度を増す課題を達成するよう促す対話型AI
- 高齢者の認知能力の低下を悪用し、欺瞞的な個別対応型オファーや詐欺を仕掛けるAI
- 精神障害を持つ人々に対し、高額な医療製品の購入を促す治療用チャットボット
- 深刻な財政状況にある人々を標的に、搾取的な金融商品の広告を配信するAIシステム
社会的信用スコアリング（Article5(1)(c)）
個人の行動や推定された人格特性に基づいてスコア化し、そのスコアをもとに不当・不均衡な扱いをすることは禁止される。
-
禁止される具体例
- 所得・資産に関係のないネット利用等のデータを使い、特定個人を納税の重点調査対象にすること
- 配偶者の国籍、SNS行動、職場評価など無関係な情報をもとに不正給付リスクを推定すること
- 婚姻状況など、必要性と無関係な情報を使って失業支援の判断を行うこと
- 「リスク家庭」判断で、社会的行動データや軽微な違反まで用いて過剰な介入につなげること
- 住民の社会的行動（ゴミ出し違反、図書返却遅れなど）から「信頼スコア」を作り、監視強化すること
- 保険会社が適正判断と無関係な銀行の財務情報を収集し、保険料率に利用すること
- 住宅ローン審査で、信用判断に無関係な個人特性をAIで利用すること
-
禁止されない具体例
- 金融的に関連する収入・支出・債務情報を使った公平な信用評価
- サービス関連の取引履歴やメタデータによる詐欺リスク評価（不利益が詐欺行為に比例して正当化される場合は問題なし）
- 運転データに基づく保険料の調整（プレミアム増額が運転リスクに比例していれば適法）
- 診断に必要な健康データを使う行為（不当な差別的取扱いを伴わなければ適法）
- プラットフォームの安全確保のため、コンテキストに関連するデータを使ってユーザー行動を評価（処分が行為の重大性に比例していれば合法）
- ユーザーの嗜好など適切なデータに基づき、消費者保護・データ保護法に従って行う広告（不当な価格差別などがなければ対象外）
- 難民キャンプで、再定住や雇用判断のため、目的に関連する行動データを使用する場合（移民法上の手続が守られ、比例的な扱いであれば合法）
- ECサイトの購入履歴や等に基づき、特典を付与（他者に不当な不利益を与えなければ問題なし）
- 犯罪防止・捜査目的で、関連する社会行動データを利用する場合（法に基づき、正当かつ比例的な扱いなら適法）
犯罪予測のためのリスク評価（Article5(1)(d)）
個人の性格や特徴の分析だけに基づいて、「この人が犯罪を犯す可能性がある」と予測する行為は禁止される。
ただし、既に犯罪活動に関する客観的事実がある場合に、それを補助するAIは例外となる。
-
禁止される具体例
- ある法執行機関がAIシステムを使い、個人の年齢、国籍、住所、車の種類、婚姻状況といった特性のみに基づいて、テロリズムなどの犯罪行為を予測する行為
- 国税当局がAI予測ツールを用いて全納税者の申告書を審査し、二重国籍、出生地、子供の数といった性格特性から潜在的な脱税犯罪を予測して追加調査が必要な事例を特定する行為
-
禁止されない具体例
- 個人ではなく「場所」や「地域」に基づく予測
- 過去の犯罪発生率や地図情報などを分析し、地域ごとに侵入盗・刃物犯罪などの発生確率スコアを算出
- 既知の密輸経路などを基にAIが違法薬物や物品の所在可能性を予測
- 都市部に設置した音響センサーで銃声をリアルタイム検出し、発砲地点を特定
顔認識データベースの無差別収集（Article5(1)(e)）
インターネットや監視カメラから無差別に顔画像をスクレイピングして顔認識データベースを作成・拡張する行為は禁止される。
- 禁止される具体例
- 企業が自動画像スクレイピングツールを使って、SNSから人の顔を含む写真を収集
- 画像の出典URL、位置情報、名前などの付随データも同時に取得
- 顔の特徴量を抽出し、数値化・ハッシュ化してデータベース化
- ユーザーが他人の写真をアップロードすると、その画像を変換してデータベース内の顔と照合できる仕組み
職場・教育現場での感情推定（Article5(1)(f)）
職場や教育機関で、人の感情を推定する行為は禁止される。
ただし、医療目的や安全確保のための利用は例外。
-
禁止される具体例
- 顧客に対して不幸せ、悲しみ、怒りを感じていると（例えば、身振り、眉をひそめる、笑顔の欠如などから）推論するシステム
- 声や身体動作から学生が激怒し暴力的になりそうだと推論するシステム
-
禁止されない具体例
- 人が病気かどうかを特定すること
- ニュースキャスターがカメラに向かって笑顔を見せる回数を追跡する装置をテレビ局が使用すること
- 事故防止のためプロのパイロットや運転手の疲労をAI認識システムで推論し、休憩を促すこと（感情認識には痛みや疲労といった身体状態は含まれないため）
このパートでは、職場や教育機関での事例も紹介されている。
職場での使用
-
禁止される具体例
- コールセンターで従業員の感情を監視する行為
- ただし、本人の訓練目的のみで使用し、人事評価・昇進に影響しない場合は許容
- ビデオ会議の映像・音声からチームメンバーの感情トーンを推定
- 採用面接・試用期間中に、候補者や新入社員の感情を評価
- スーパーで従業員の感情を監視
- コールセンターで従業員の感情を監視する行為
-
禁止されない具体例
- 商業的文脈において顧客対応に使用される感情認識システム
- コールセンターが顧客の感情を検知（従業員への監視でないため）
- スーパーや銀行が顧客の不審行動を検知（従業員を監視せず、十分なセーフガードがある場合）
教育の場での使用
-
禁止される具体例
- 教育機関が授業や試験で学生の「興味・集中・不安」などをAIで推定する行為
- 入学試験で、受験者の感情状態を基に合否判断する行為
- 教師・学生の双方に感情認識AIを使用
- オンライン試験時に、受講者の感情（緊張など）を分析する行為
-
禁止されない具体例
- 個人が自主的に使う語学学習アプリの感情認識（教育機関が強制していない場合）
- オンライン試験で視線追跡のみ行うAI
- 俳優や教師養成など、学習目的のロールプレイ訓練（感情認識を使っても、評価や資格認定に影響しない限り許容）
- 学生間の会話検知AI（単に通話や通信を検出するだけで、感情を解析しない）
生体情報によるセンシティブ属性の推定（Article5(1)(g)）
生体情報（顔・声・歩き方など）を使って、人種・政治的意見・宗教・性的指向などを推定・分類する行為は禁止される。
ただし、法執行目的で合法的に取得したデータの分類や整理は除外。
-
禁止される具体例
- SNS上にアップロードされた個人の写真の生体認証データを分析し、ターゲットを絞った政治的メッセージを送信するAIシステム
- 個人の人種を声から推測できると主張する生体認証分類システム
- 個人の宗教的指向を、その者の入れ墨や顔から推測できると主張する生体認証分類システム
-
禁止されない具体例
- オンラインマーケット上で、最適な製品を提示できるよう消費者の顔や身体の特徴を分類（製品販売という主たるサービスに関連してのみ使用可能なため）
- 特定の国民が他の国民より劣った結果を示すデータに基づいてアルゴリズムが訓練されたために、就職面接に呼ばれる可能性が低くなるケースを「回避する」ための生体認証データのラベル付け
- 皮膚や目の色に基づく画像を用いた患者の分類（がん診断などの医療診断において重要となる可能性あり）
公共空間での「リアルタイム」遠隔生体認証（Article5(1)(h)）
公共空間で、警察などがリアルタイムの顔認識AIを使うことは原則禁止となる。
ただし、次のような例外的な目的の場合に限り、厳密に必要な場合は許可される。
- 禁止されない具体例
- 誘拐・人身取引・行方不明者など特定の被害者の捜索
- テロや生命への重大な脅威を防止
- 重大犯罪（EU法上、懲役4年以上の罪）に関する犯罪捜査・刑罰執行を目的とした容疑者の所在確認または身元確認
※例外的な目的の場合も、司法または独立行政機関の事前承認が必要。
補足・実務上の留意点
その他、高リスクのカテゴリに当てはまる場合は、使用者にいくつか管理義務が課されるものがあるので、提供するAIモデルの製品上その点も懸念がある場合は手当てをしておきたい。
なお、これらの禁止規定は、他のEU法（GDPRなど）による禁止を妨げるものではなく、各加盟国はさらに厳しい制限を設けることも可能である。
また、自らがAIを使用する際に上記禁止行為を行わないよう注意することが必要なのはもちろんのこと、自社で開発したAIツールを販売する際にも、例えば利用規約に欧州AI法に違反しないよう規定を設ける必要がある場合もあろうかと思う。
AIツールの内容にもよるだろうが、例えば画像解析といった汎用性の高い機能があれば容易に禁止行為となる使い方も出来てしまうので、しっかりとユーザーに釘を指す文言を入れておくと安心できるかと思う。