ESG-Bench: Benchmarking Long-Context ESG Reports for Hallucination Mitigation

Unofficial AI-generated summary based on the public title and abstract. Not an official translation.

🔬研究者:Researchers can use ESG-Bench to evaluate and improve LLMs for ESG-specific tasks.

🏢実務担当者:Corporate sustainability teams can leverage this benchmark to assess AI tools for ESG report analysis.

🏛政策担当者:Policymakers can consider this benchmark when setting standards for AI-assisted disclosure verification.

企業責任が環境・社会・ガバナンス（ESG）基準をますます組み込むにつれ、ESG報告は多くの地域で法的要件となり、持続可能性の実践を文書化し、企業の長期的かつ倫理的なパフォーマンスを評価するための主要な経路となっている。しかしながら、ESG開示の長さと複雑さは、それらを解釈し、分析を確実に自動化することを困難にしている。拡張可能で信頼性の高い分析を支援するため、本論文では、大規模言語モデル（LLM）におけるESG報告書の理解と幻覚軽減のためのベンチマークデータセットであるESG-Benchを紹介する。ESG-Benchには、実際のESG報告書の文脈に基づいた人間が注釈を付けた質問応答（QA）ペアが含まれており、モデルの出力が事実に基づいて裏付けられているか、幻覚であるかを示す詳細なラベルが付いている。ESG報告書分析を検証可能性の制約を伴うQAタスクとして枠組み化することで、ESGコンテンツを抽出し推論するLLMの能力の体系的評価が可能になり、社会的に敏感でコンプライアンスが重要な設定における幻覚の軽減という新たなユースケースが提供される。我々は、タスク固有のChain-of-Thought（CoT）プロンプト戦略を設計し、CoTで注釈が付けられた根拠を用いてESG-Bench上で複数の最先端LLMを微調整する。我々の実験は、これらのCoTベースの手法が、幻覚の低減において標準的なプロンプトや直接的な微調整を大幅に上回り、その利得がESG領域を超えた既存のQAベンチマークにも転移することを示している。

AI 翻訳（deepseek-v4-flash）。 正確を期す場合は下の原文を参照してください。

As corporate responsibility increasingly incorporates environmental, social, and governance (ESG) criteria, ESG reporting is becoming a legal requirement in many regions and a key channel for documenting sustainability practices and assessing firms’ long-term and ethical performance. However, the length and complexity of ESG disclosures make them difficult to interpret and automate the analysis reliably. To support scalable and trustworthy analysis, this paper introduces ESG-Bench, a benchmark dataset for ESG report understanding and hallucination mitigation in large language models (LLMs). ESG-Bench contains human-annotated question–answer (QA) pairs grounded in real-world ESG report contexts, with fine-grained labels indicating whether model outputs are factually supported or hallucinated. Framing ESG report analysis as a QA task with verifiability constraints enables systematic evaluation of LLMs’ ability to extract and reason over ESG content and provides a new use case: mitigating hallucinations in socially sensitive, compliance-critical settings. We design task-specific Chain-of-Thought (CoT) prompting strategies and fine-tune multiple state-of-the-art LLMs on ESG-Bench using CoT-annotated rationales. Our experiments show that these CoT-based methods substantially outperform standard prompting and direct fine-tuning in reducing hallucinations, and that the gains transfer to existing QA benchmarks beyond the ESG domain.

• semanticscholar https://ojs.aaai.org/index.php/AAAI/article/download/41281/45242first seen 2026-05-15 18:29:18 · last seen 2026-08-08 05:41:13