AI企業の「安全です」を信じるだけでは足りない。ニューヨーク市のAI規制案
2026年10月5日、ニューヨーク市議会が、AIを開発する大手企業の幹部や元社員らを招いて公聴会を開きました。
参加したのは、ChatGPTを開発するOpenAIや、Google、Meta、Anthropicといった企業の関係者たちです。話題は、AIが急速に広がる中で、市民の安全をどう守るかということ。
ニューヨーク市では今、AIを規制する複数の法案が検討されています。ただし、2026年10月8日時点では、ここで取り上げる案はまだ成立した法律ではありません。これから審議される提案の話です。
もし市役所で使っているAIに問題が見つかったら、誰が調べるのでしょう。開発した会社か、導入した市役所か。それとも、外部の専門家か。
あるAIの悪用で誰かが被害を受けたら、その人には何ができるでしょうか。
「うちのAIは安全です」と会社が説明するのと、問題が起きたとき、企業の外にいる人が実際に動けることは同じではありません。
以前、僕はSNS企業のアルゴリズムやAIの独占について書いた文章で、こういう言葉を残しました。
「民間企業が力を持ちすぎると、世界すら変えてしまう」
技術が便利になるほど、その技術を持つ企業の影響力も大きくなる。今回の法案をこの言葉と並べると、気になるのは「AIは危険か」だけではありません。
誰が安全を確かめ、誰が事故を知らせ、誰が止められるのか。ニューヨーク市は、そこまで具体的に考えようとしています。
「安全です」の判定を、会社の外へ出す
例えば、開発したAIを売るとき、企業が自分で検査をして「安全です」と言うだけでは、利用する側には確かめにくい部分が残ります。
議会の提案の一つ「T2026-2602」は、ニューヨーク市内でAIモデルを売ったり提供・導入したりする際、第三者による検証や、人間が操作して止められる機能を求めるものです。
検証の対象には、AIが必要な仕事をこなせるか、特定の人に不公平な影響を与えないか、個人情報や安全性に問題がないか、停止機能が働くかなどが含まれます。
この提案を読むと、見逃しにくい変化があります。AI企業が自分で合格を出すだけでなく、企業の外にいる人の検査を通そうとしているのです。
とはいえ、検証さえ通ればAIが絶対に安全になるわけではありません。誰が検査するか、何を試すか、人間がどの仕組みをどう止めるか。決めなければならないことは山ほどあります。
だからこそ、企業が「安全だ」と言ったことと、外から安全を確かめられたことは別にしておきたい。
事故に気づいても、会社の中だけで終わったら
問題は、AIを使い始める前だけではありません。
重大な事故が起きたあと、そのことを知っているのが企業や行政機関の内部だけだったら、外部の人は状況すら分からないかもしれません。
「T2026-2601」は、ニューヨーク市の行政機関や、市との契約でAIを使う事業者などに、報告対象となる安全事故を認識したら24時間以内に市のサイバー対策部門へ報告することを求めています。
市側にも、報告対象の事故を把握してから原則24時間以内に公表する仕組みを設ける提案です。対象は市の機関や市の契約に関係する事故であって、世界中のAI企業に同じ報告義務を課す話ではありません。
事故の報告期限を決めても、すべての事故を防げるわけではありません。それでも、「起きたことを中で抱え続けられる」状態を変えるきっかけにはなります。
そして、もう一つ忘れたくないことがあります。
危険に気づいた社員がいたとしても、声を上げたことで仕事を失ったり、会社から報復されたりするなら、問題は表に出にくいでしょう。
「T2026-2604」は、市の職員や一定の市契約企業の従業員らが、AIの利用や開発に関する公共の健康・安全への重大な危険を通報した場合に、内部告発者として保護することを明確にしようとしています。
僕が以前、SNS企業に関する文章で取り上げた問題も、内部の人が語って初めて外へ伝わった部分がありました。
いくら立派な安全対策を発表しても、中の人が危険を知らせられないなら、社会は知らないままかもしれない。だから技術の検査と、通報できる人を守る制度は切り離せません。
被害を受けた人や、市民にもできることがある
さらに、問題が起きた後に動ける人を増やそうとする法案もあります。
「T2026-2600」は、第三者がAIを悪用して被害を出し、その危険を企業側が予見できたのに合理的な対策を取っていなかった場合などに、被害者がモデルを提供した会社へ民事上の請求をできるようにする提案です。
AIが悪用されたら必ず開発元が責任を負う、という単純な話ではありません。被害が予見できたか、企業の安全策が不十分だったかなど、条件が必要です。
一方、「T2026-2605」は、一定のAI関連の違反について市民が申告できる仕組みを提案しています。
申告をきっかけに市が違反を追及して金銭を回収した場合、申告した人が回収額の25％を受け取れる案です。指定を受けた申告者が自ら手続を担う場合には、50％を受け取る仕組みも盛り込まれています。
数字を見ると大胆な提案です。行政がすべての違反を発見するのを待つだけではなく、市民が問題を見つけ、知らせる入口を作ろうとしている。
ただ、実現するとしたら慎重な設計も必要でしょう。根拠のない申告をどう扱うか、企業や行政の負担をどう抑えるか。報酬がある制度なら、なおさらです。
そこは今後の議論を見なければ分かりません。
ここまで見てくると、ニューヨーク市が考えているのは「AIは危ないから禁止しよう」というだけの話ではないと分かります。
企業の外にいる人が確かめる。事故があれば知らせる。中の人が危険を通報できるようにする。被害者や市民も、必要なときに動ける道を残す。
この方向には筋が通っています。
AIを使う社会で、企業だけに判断を任せなくても済む仕組みを増やす。
もちろん、法案がこのまま成立するとは限りません。ニューヨーク市だけで世界中のAIの安全を保証できるわけでもない。検査や停止機能がどこまで役立つかも、今後の課題です。
でも、僕が以前書いた「民間企業が力を持ちすぎると、世界すら変えてしまう」という言葉と今回の法案を並べると、問いが少し具体的になります。
企業の力が大きくなったとき、その企業が間違えたら、誰が動けるようにしておくのか。
便利な技術を使い続けたいからこそ、企業を信じることと、信じるだけで済ませない制度を持つことの両方が必要なのだと思います。
コメント