【人間が書きました】
仕事で使っている MS Copilot が生成する文章がAI臭い・臭くない以前のどうしようもない代物(どうして…)なので、普段は気にしないのですが、LLMが生成する文章のAI臭さに関してちょっと調べてみました。ChatGPT App の GPT-5.6 Sol に LLM がよく生成する「ここが重要です」「ここからが面白いです」などの例を示して、専門用語でこういうのをなんと言うか聞いてみました。
最も近い研究上の総称は、メタディスコース（metadiscourse）のうちの評価・態度標識（attitude markers）、さらに広く言えば 評価表現／evaluative language である。
とのことでした。なんでも社会言語学に談話分析という手法・方法論があってそれの用語らしいです。GPT-5.6 Sol 先生の結論としては
LLMは談話構造、書き手の評価、認識的態度、読者との関係を明示する言語資源を、定型的かつ高頻度に表面化させる傾向がある。つまり意味内容を直接提示する代わりに、その内容を「どう読むべきか」を言語化しすぎる
とのこと。やっぱり頭いいですね。
このように言語化されると「ここが重要です」がどこから来るか見当がつきます。reasoning token です。恐らくですが、LLM が文章生成の前段階として生成する reasoning token のうち、生成する文章を評価している token が生成する文章自体にリークしているのだと思います。OpenAI や Anthropic のフロンティアモデルの reasoning token が見られなくなっちゃったので推測でしかないですが。reasoning token を「覗き見る」手法が最近出たのでそれを使えば良いのかもしれません。reasoning token も観測可能なモデルを使っている方が、こういう類のデバッグは確実に楽なので、中国発のオープンウェイトモデルに対抗し続けることができるのか、OpenAI や Anthropic の将来がちょっと不安になります。
とりあえず
reasoning での生成結果の評価が生成結果自体に陽に漏れるのを出来るだけ抑えて。
というプロンプトを加えて、GhatGPT App で GTP-5.6 Sol に文章を生成させてみたところ、「ここが重要です」「ここからが面白いです」などの メタディスコースは ほぼきれいに消えました。本当です。GPT-5.6 Sol 先生に言わせるとプロンプトは
reasoning 内の候補比較、自己評価、修正過程など、回答生成過程に由来するメタ情報を、回答に必要でない限り最終出力へ持ち込まない。
の方が良いとのこと。
みなさんも試してみて下さい。
