カンザス大学の研究チームが、人間が書いたテキストとAIが生成したテキストを見分ける新たなアルゴリズムを開発しました。
とんでもないアルゴリズムができてしまった。
このアルゴリズムは、特に学術論文がChatGPTやAIによって書かれたものかどうかを、驚異の99%の精度で判別することができます。
全国の限界学生は果たしてChatGPTでレポートを書けなくなってしまうのか!?
AIによるテキスト生成の普及
AIによるテキスト生成技術は急速に普及しており、AIが生成したテキストコンテンツは増加の一途をたどっています。しかし、人間が書いたテキストとAIが生成したテキストを見分けることは困難で、多くのツールが開発されていますが、完全に見破ることは難しいのが現状です。
正直キャラクターとかいないと本当に見分けつかない。
キャラ付けしたらもっとわからないし。
ChatGPTにキャラ付けする仕方はこちらから
カンザス大学の研究チームは、この問題に対処するために、「ChatGPTが書いた学術論文の判別」に特化したアルゴリズムを開発しました。具体的には、64本の科学研究論文をChatGPTに投げ、128本の論文を生成させ、これを元にアルゴリズムを開発しました。
このアルゴリズムのテストとして、人間が執筆した論文とChatGPTが生成した論文を混ぜて、どちらがどちらかを見分けられるかを実験しました。その結果、全体の精度は100%、段落レベルでの精度は92%と、非常に高い精度で判別できました。
精度100%、段落レベルで92%。もうバレない方が難しい。
これってかいくぐる方法ってあるの?
論文によれば、人間、ChatGPTの両方の文章にも特徴があるとのことです。
たとえば、人間が書く段落は長くなりがちで、語彙力が高く、句読点も多いそうです。
また、「しかしながら」「しかし」「にもかかわらず」といった言葉を使いがちなんだそうです。
そんな特徴なのか。
じゃあそこを修正しておけば解決ってことなんだね。まだまだだな。
文章の信憑性「誰が書いたか」
AIがさらに高性能になると、誰が書いたかを見分けるのはさらに難しくなるでしょう。しかし、研究チームは、より大きなデータセットを使用すれば、さらに強力な検出アルゴリズムを開発できると考えています。
AIを開発する者たちの戦いが始まりそう笑
絶対バレない文章生成AI 対 絶対見分けできるアルゴリズム 笑
「誰の手によるものか」は、今後も重要な問題となるでしょう。しかし、このアルゴリズムが特に得意とするのは学術論文(具体的には、科学雑誌に掲載されるような専門的なもの)です。したがって、高校生や大学生のレポートの不正を検出するのには、残念ながら適していません。理論的には、学術論文以外の文章に対する検出モデルも作成可能だと考えられます。
学生の皆さんが安堵の表情でこちらを見ています。
さらに、人間がChatGPTによって生成された文章に手を加えることで、アルゴリズムが検出しにくい文章を作成することも可能でしょう。生成AIがさらに高性能になっても、誰がその文章を書いたかを見分けるのは難しくなるでしょう。
それでも、研究チームは、より大規模なデータセットを使用すれば、さらに堅牢な検出アルゴリズムを開発できる可能性があると考えています。
必ず私が、ChatGPTで書いたレポートをこの世から1匹残らず駆逐してやる。
なんかどっかで聞いたセリフだな笑
- Source: Cell Reports Physical Science
- via: Gizmodo