データの作り方
本サイトのデータセットは、公的機関が公表する一次資料(多くは PDF)から次の手順で構造化しています。すべての手順は再現可能な形でリポジトリに記録されます。
1. 一次資料の取得
発行元(国・県など公的機関)のページから資料を取得し、URL・取得日を記録します。年度ごとに URL が変わる資料は、その旨をデータセットの出典欄に明記します。
2. テキスト抽出と構造化
PDF は
pdftotext -layoutで生テキストに変換し、そのまま監査証跡としてリポジトリに保存します。生テキストから CSV への変換は専用スクリプトで行い、セル結合の解釈や欠損の扱いなど判断を要した点はすべてメモに記録します。3. 逐語照合
構造化した数値は一次資料の原文と1件ずつ突き合わせます。照合が完了するまでデータセットは「検証中」と表示し、引用を推奨しません。
4. 機械検証
メタデータ(出典・ライセンス・列定義)と CSV の整合(行数・列名・数値型・欠損)を検証スクリプトが全件チェックし、通過したものだけを公開します。CSV と JSON は同一データから機械生成され、手編集しません。
地図データについて
都道府県マップの境界データは「国土数値情報(行政区域データ)」(国土交通省)を加工して作成しています(加工: スマートニュース メディア研究所・当サイト)。国土数値情報の利用規約は政府標準利用規約準拠(CC BY 4.0 互換)です。表示の都合上、南鳥島・沖ノ鳥島は表示範囲外としていますが、境界データ自体からは削除していません。
公式オープンデータカタログとの関係
沖縄県には公式のオープンデータカタログ「OKINAWA DPF」があります。本サイトはそれを置き換えるものではなく、カタログに収録されていない PDF 中心の資料(特に教育分野)を構造化し、分野横断の結合と解説付き可視化を提供することに役割を絞っています。