AI文章はモデルを変えれば良くなる？ChatGPT dot・通常Chatを比べて分かった「書き手」と「編集」の違い【2026年版】
dotで作ったKnowledge記事を読んでいて、僕は文章そのものの読みづらさが気になりました。
そこで、通常ChatのGPT-5.6 Sol、思考量の違い、プロジェクト内外、参照する資料の条件を変えて、同じ種類の素材を文章にする比較をしました。
ある条件では、場面の説明がかなり読みやすくなり、僕自身も「抜群に読みやすい」と評価しました。
でも、その設定に変えれば全部解決したわけではありません。別の記事では主旨がずれ、同じ表現が繰り返され、自己レビューで問題を指摘しても修正版に残ることがありました。
文章制作では、「誰に書かせるか」と「書いた後に何を確認するか」を分けないと、モデル比較だけでは品質を説明できない。今回の実験で一番残ったのはそこでした。
そもそも、何を比較していたのか
今回の出発点は、「dotの記事は読みにくい。普段のChatで書いた文章と違う気がする」という僕の違和感でした。
そこで通常ChatのGPT-5.6 Solを使い、Medium、Extra Highなど思考量を変えたり、プロジェクト内外で条件を変えたりしました。
さらに途中で、「プロジェクト内にあるソースを丁寧に読み込んでから執筆して」と条件を追加しました。
つまり、厳密なモデル比較実験ではありません。モデルだけでなく、思考量、参照できる資料、指示、会話文脈も一緒に変わっています。
ここで比較できたのは「この条件の組み合わせでは、文章がどう変わったか」であって、モデル単体の優劣ではありません。
書き手を変えると、まず「場面の説明」が改善した
比較で分かりやすく改善したのは、記事冒頭の場面説明でした。
誰が、いつ、どこで、何をしようとしていたのか。
それまでの原稿では前提が抜け、読者が会話の中へ突然放り込まれる文章がありました。
通常Chat側の試験では、人物・時点・目的を先に置く形へ変わり、僕は最初の完成稿をかなり読みやすいと評価しました。
少なくとも今回の一回の比較では、書き手や条件を変えることで、人間が読みやすい順番へ改善した例がありました。
でも、読みやすさが上がっても「事実の精度」は別だった
同じ比較では、文章の順番が良くなっても、事実の言い過ぎや、元の会話からは確認できない表現が残ることがありました。
素材を自然な文章にする能力と、「原資料のどこまでが確認済みか」を厳密に守る能力は、同じ変更で同時に改善するとは限りませんでした。
僕がKnowledgeで必要としていたのは、読みやすいだけの文章ではありません。
本人が当時言ったこと、AIが返したこと、後から記事側で分析したこと、今回未確認のことを分ける必要があります。
文章の自然さと、証拠境界を守ることは別の合格条件でした。
さらに、文章が自然でも「記事の主旨」がずれることがある
最初の一本が読みやすくなった後、別の音楽記事で問題が出ました。
文章としては自然でも、「説明されています」のような表現が繰り返され、本人が当時何を報告したのかと、現在の記事が何を説明しているのかの境界が弱くなりました。
僕が読みたかったのは、きれいな文章そのものではありません。
その記事で一つの問いに答え、当時の事実と現在の整理を混ぜない文章です。
モデルを変えて文章が滑らかになっても、「何の記事なのか」を守る編集判断は別に必要でした。
自己レビューを入れても、それだけでは安心できなかった
次に試したのがセルフレビューです。
AI自身に「この文章の問題点を確認して」と依頼すると、重複や言い過ぎなどを指摘できる場面がありました。
ところが、その後の修正版を読むと、レビューで指摘した問題がまだ本文に残ることもありました。
レビュー文として問題を説明できることと、完成原稿を本当に修正できていることも別です。
「レビューを実施した」ではなく、「修正後の全文で問題が消えたか」をもう一度見る必要がありました。
ここで、文章制作を「書き手」と「編集」に分けた
この実験から、僕は文章制作を一つのAIタスクとして見ない方が分かりやすいと感じました。
書き手の仕事
材料を文章へ変える。場面を説明する。構成を作る。読みやすい日本語にする。
編集の仕事
記事の問いがぶれていないか見る。事実と分析を分ける。元資料を超えて断定していないか確認する。重複を削る。初見で意味が通るか確認する。
同じAIが両方を担当してもよい。でも、評価するときは別の仕事として見た方が、どこで失敗したか分かりやすくなりました。
最後に採用したのは、モデル名ではなく「工程の組み合わせ」だった
後半では、どのモデルが一番文章上手かを決めるより、工程を分けました。
まず会話記録から、記事に使える事実と未確認事項を整理する。
次に、その記事が答える問いを一つ決める。
通常Chatで本文を書く。
別の視点で初見レビューをする。
原資料と照合する。
修正後の全文をもう一度確認する。
当時の会話では、この流れで作った5本について、僕自身が公開可能な品質と評価しました。
採用したのは「このモデルなら安心」という結論ではなく、「書く前・書いている途中・書いた後の役割を分ける」方法でした。
現在のdotがGPT-6 Astra搭載でも、当時の各原稿のモデル特定には使えない
OpenAIの現在の公式説明では、dotはGPT-6 Astraで動くとされています。
ただし、この情報を使って「今回読みにくかった原稿はGPT-6 Astraが書いた」と断定することはできません。
dotは仕事を別タスクへ委任でき、新しいタスクにはその仕事用の指示と文脈が渡されます。すべての会話や同一の生成条件が自動的に共有されるわけではありません。
今回の記録でも、通常Chat側はGPT-5.6 Solなど条件を明示して比較していますが、問題のあった各dot原稿について生成経路を完全には再確認していません。
だからこの記事では、モデル名を原因にせず、実際に観察できた文章と工程の差だけを扱います。
「5.6が6より文章上手」とは、この試験から言えない
僕自身の体感として、通常Chatで書いた文章の方が読みやすいと感じる場面はありました。
でも今回の比較は、同一材料・同一指示・同一文脈で何度も繰り返したブラインドテストではありません。
プロジェクト内外、思考量、追加指示、参照資料の有無も変わっています。
一つの題材で成功しても、別の記事では主旨がずれました。
今回言えるのは、「モデルや設定を変えると文章が改善した例があった。しかし、それだけでは品質保証にならなかった」までです。
AI文章を比べるなら、僕は4つを別々に見る
今後AIの文章品質を比べるなら、僕は総合点だけでは見ません。
1. 読みやすさ
初めて読む人が、場面と結論を追えるか。
2. 事実精度
原資料にないことを補っていないか。確認済みと未確認を分けているか。
3. 主旨保持
記事の中心となる問いに答え続けているか。途中で別の話へずれていないか。
4. 修正反映
レビューで問題を指摘した後、修正版から本当に消えているか。
「どのAIが一番賢いか」ではなく、仕事で必要な品質を項目ごとに見る方が、今回の実験には合っていました。
これは文章だけでなく、AIの仕事選びにも使える
一つのAIを「総合的に一番優秀」と決めると、仕事ごとの違いが見えにくくなります。
文章の初稿が得意なAI。
原資料の照合に向くAI。
ブラウザ操作に向く環境。
大量処理に向く仕組み。
今回のdot実験では、執筆だけを見ても「書く能力」と「編集判断」を分けた方がよかった。
AIを人間の職種名で一括評価するより、工程ごとに何を任せるかを見る方が実務では使いやすいと思います。
結論：文章品質は「モデル選び」ではなく、「書き手 × 編集工程」で見る
dotの記事が読みづらいと感じたとき、最初は「文章を書くAIを変えれば解決するのでは」と考えました。
実際、通常Chatの別条件へ変えることで、場面説明や読みやすさが改善した例はありました。
でも、その後の別記事では主旨がずれ、事実の言い過ぎが残り、セルフレビュー後の修正版にも問題が残ることがありました。
そこで僕が変えたのは、モデルだけではなく制作工程です。材料整理、問いの設定、執筆、初見レビュー、原資料照合、修正後全文の再確認を分けました。
文章を作るAIの選択は重要です。
ただ、書き手を選ぶことと、完成稿を編集・検査することは同じ仕事ではありません。
AI文章の品質を見るとき、僕はこれからも「どのモデル？」だけでなく、「どんな材料を渡し、誰がどう編集し、最後に何を確認した？」まで見ると思います。
関連記事
テーマ別に読む
この記事を書いた人
マーケティングデザイナー／DXコンサルタント／音楽家。企業・自治体等60社以上のマーケティング・DX支援に携わり、生成AI・Web・EC・データ活用などを実務で検証・発信しています。
参考資料・参照元
可児波起・ChatGPT比較試験記録（2026年10月2日、非公開一次記録）
コメント