監査者を監査する：ESG報告書におけるオープンウェイトLLMの抽出精度・幻覚・棄権 — 518社の企業開示（2010–2026年）にわたる縦断的実証ベンチマーク
Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026) (原題)
Redeemer Okekale Salami, Kate Markin, Derek Amuna, Felix Coker
🤖 gxceed AI 要約
日本語
5つのオープンウェイトLLMを用い、2010〜2026年の企業サステナビリティ報告書518件からESG数値指標を抽出する精度を検証した。物語的な方針記述の要約はF1約0.729と高精度だが、Scope 1排出量や取水量など厳密な数値抽出はF1約0.335にとどまった。正解ページを与えても最高モデルで精度上限0.731であり、誤りは検索より表読み取りに起因する。誤年・誤企業の「ニアミス」文脈では最大46.7%が数値を捏造したが、厳格な監査指示や段階的推論で棄権率は74〜80%まで向上した。
English
Five open-weight LLMs were benchmarked on extracting verified ESG metrics from 518 corporate sustainability reports (2010–2026). Models summarize narrative policy well (F1≈0.729) but extract exact figures like Scope 1 emissions poorly (F1≈0.335); even with the gold page, the best model caps at 0.731 accuracy, showing table-reading errors dominate. Given near-miss passages, models fabricate numbers up to 46.7% of the time, but strict audit prompts and step-by-step reasoning raise abstention to 74–80%.
Unofficial AI-generated summary based on the public title and abstract. Not an official translation.
📝 gxceed 編集解説 — Why this matters
日本のGX文脈において
SSBJ基準・有価証券報告書のサステナビリティ開示が本格化する日本では、LLMによる開示データ抽出の信頼性確保が監査・保証業務の前提条件となる。本稿の幻覚・棄権の定量知見は、国内企業・監査法人がAI抽出ツールを導入する際の統制設計に直結する。
In the global GX context
As ISSB/CSRD and assurance regimes demand machine-readable, verifiable ESG data, this benchmark exposes a critical gap: LLMs can summarize but not reliably extract exact figures, and hallucinate under near-miss evidence. It offers disclosure-infrastructure designers concrete evidence that abstention prompting and referee-model grading are prerequisites for trustworthy AI-assisted sustainability auditing.
👥 読者別の含意
🔬研究者:LLM評価設計における審判モデル分離やニアミス文脈テストなど、ESG抽出ベンチマークの方法論的枠組みを提供する。
🏢実務担当者:AI抽出ツール導入時は数値指標の人手検証と棄権指示の徹底が必須であり、要約用途と数値抽出用途を分けて統制すべきと示唆する。
🏛政策担当者:デジタルタグ付け開示やAI支援保証の制度設計において、幻覚リスクと棄権メカニズムの要件化を検討する根拠となる。
📄 Abstract（原文）
Abstract Corporate sustainability auditing increasingly relies on Large Language Models (LLMs) to extract verified quantitative metrics from lengthy Environmental, Social, and Governance (ESG) reports. For an LLM to serve as a trustworthy compliance tool, it must pull exact numbers from dense ta- bles while refusing to guess when a disclosure is missing. We evaluate five leading open-weight LLMs (Qwen3-4B, DeepSeek-R1-7B, GPT-OSS-20B, Qwen3.5-27B, and Gemma-4-31B) across 518 corporate sustainability reports published between 2010 and 2026 (279,862 text passages). Using a stratified 120-question audit benchmark tested under five controlled evidence conditions (3,000 total responses), we grade every output using an independent referee model (Phi-4-14B) so that no model grades its own family’s work. Three findings stand out for sustainability practi- tioners: (1) models summarize narrative policies reliably (F1 accuracy ≈ 0.729) but struggle to extract exact numerical indicators such as Scope 1 emissions or water withdrawal (F1 ≈ 0.335); (2) even when handed the exact gold-standard page from a report, the strongest model (GPT- OSS-20B) reaches an accuracy ceiling of 0.731, showing that table-reading errors matter more than search errors; and (3) when given a “near-miss” passage from the wrong year or company, standard prompts cause models to invent or substitute numbers in up to 46.7% of cases. By contrast, step-by-step reasoning in DeepSeek-R1-7B catches the mismatch and abstains 77.5% of the time unprompted, while strict audit instructions raise abstention across dense models to 74.2%–80.0%.
🔗 Provenance — このレコードを発見したソース
- openalex https://doi.org/10.21203/rs.3.rs-11610550/v1first seen 2026-11-12 04:50:06 · last seen 2026-11-14 04:55:50
🔔 こうした論文の新着を逃したくない方は キーワードアラート に登録（無料・3キーワードまで）。
gxceed は公開メタデータに基づく研究支援データセットです。要約・翻訳・解説は AI 支援で生成されています。 最終的な解釈・検証は利用者が原典資料に基づいて行うことを前提とします。