「この文章、AIが書いたっぽいな」と感じたことはないだろうか。文章のどこがそう見えるのかを指摘し、直すヒントを示すツールを開発、その過程で「AIっぽさ」の正体を実際にデータで数えて確かめた。すると世間で言われている「AIっぽい特徴」のかなりの部分が思い込みだった一方、本当の特徴は意外なところにある、ということが分かってきた。
分かったこと1: AIらしさは「文章の骨格」に現れる
本当にAI特有だった特徴は、言葉づかいではなく、文章の組み立て方にあった(図1)。「これから〜を説明する」と予告してから本論に入り、最後に「以上のように」と全体をまとめ直す。きっちりした三段構成、「まとめると」のような言い回し、最後を必ず一般論や呼びかけで締める癖。つまりAIは、報告書のお手本のような型を几帳面に守りすぎるのである。人間はいきなり本題に入ったり、まとめずに終わったりするものだ。この几帳面さが、かえって不自然さとして残る。
分かったこと2: 「AIっぽい」の通説は、けっこう間違っている
一方で、世間で「AIっぽい」と言われる特徴を検証したところ、いくつもが実測で否定された(図2)。たとえば「これにより」という言葉はAIしか使わない、というネット上の情報を信じてルールにしていたが、実際に数えたら人間側のほうが多く使っていた。「〜です。〜です。」と同じ語尾が続くのもAIの特徴とされるが、議事録やスピーチのような丁寧な日本語では、人間でも語尾は自然に連続する。
分かったこと3: 「構成の癖」を見れば、記号を消されても見抜ける
いわゆるマークダウン形式をAIは多用する。これをテキスト化した際に残る記号(**など)をもとに判断すること、実はこれが最も楽であることは当初からわかっていた。しかし、このルールでは記号を消されたら、とたんに見抜けなくなる。そこで、記号ではなく前述の「構成の癖」を小型のローカルAIに判定させる方式に切り替えたところ、どのAIの文章も同じ水準で見抜けるようになった(図3)。
使うほど賢くなる仕組みへ
本検出アプリは、「AI作成だった/人間作成だった/わからない」と、結果を知っている人間がフィードバックできる。よって、アプリを使い続けることで利用者の答え合わせが検証用のサンプルとして貯まっていき、それをもとに定期的に採点基準を見直すことで、検出の質が上がっていく。さらに、AIの出力トレンドの変化もツールを介してキャッチアップしていきたいと考えている。
引き続き、本件に関する調査は進め、報告したい。