投稿

JapanRailWayLLMシリーズ:JapanRailwayGuideWatcherに鉄道法令などを追加・更新/JapanRailWayLLM Series: Added Railway Regulations and Updates to JapanRailwayGuideWatcher

JapanRailWayLLMシリーズ:JapanRailwayGuideWatcherに鉄道法令などを追加・更新 日本の鉄道技術、鉄道工学、構造物、保安装置などの専門知識を学習させたGemma 4ベースの特化型LoRAモデル 「JapanRailwayGuideWatcher」 をHugging Faceにて公開しました。今回のアップデートでは、これまで不足していた 鉄道法令やモデル自身の自己紹介(アイデンティティ) などの追加学習・修正を実施しています。 本記事では、開発のきっかけとなった背景やモデルの概要、データセット作成から学習完了までの経緯をまとめます。 開発の背景:なぜ鉄道特化LLMを作ったのか? もともと日本の鉄道専門知識に特化したLLMが存在しなかったことに加え、 「BVE5の路線制作が、サーバー構築の10倍は面倒くさい」 という現実を目の当たりにしたことが開発の大きな原動力です。 鉄道シミュレーターの路線やデータを制作するにあたって必要となる日本の鉄道の基礎知識・法令・規格などを手軽に調べられるAIエージェントを目指し、 国土交通省鉄道局などの公開資料 を参考に学習を行いました。 また、この開発は自分ひとりの力だけではなく、 Copilot・ChatGPT・ローカルLLM(LM Studio)と相談・連携しながら プロンプト調整やデータ整備を進めて構築しています。 JapanRailwayLLMのgemma4ベースのJapanRailwayguidewatcherは法令や自己紹介が欠けていたので若干学習しています。 日本の鉄道のLLMない上、BVE5路線制作するのにサーバー構築の10倍面倒くさいのを目の当たりにしたので、基礎知識・法令・規格などを学習した。 これは国交省鉄道局等からの資料を参考 — がーらけにあ【GalaKenya】 ( @galakenya ) モデルの概要:JapanRailwayGuideWatcher JapanRailwayGuideWatcher は、日本の鉄道技術資料・鉄道工学資料・構造物資料・保安装置資料・国交省鉄道局等の法令関連資料など、 約11,500件 の専門データを学習した特化型モデルです。 姉...

JapanRailwayGuideWatcher Ver1完成へ Gemma 4 E4B ITをベースにした鉄道技術特化モデルの構築/JapanRailwayGuideWatcher Ver.1 Completed: Building a Railway Technology-Specialized Model Based on Gemma 4 E4B IT

JapanRailwayGuideWatcher Ver1 完成へ Gemma 4 E4B IT をベースにした鉄道技術特化モデルの構築 これまで鉄道関連の知識ベースや RAG データセットを整備してきましたが、今回は Gemma 4 E4B IT をベースとして、日本の鉄道技術知識に特化した LoRA モデル「 JapanRailwayGuideWatcher 」の構築を行いました。 結果として、 LoRA 学習からマージ、 GGUF 化、 LM Studio での動作確認まで完了し、実用レベルの鉄道技術アシスタントを構築することができました。 学習データ 今回使用した学習データは約 11,500 件の JSONL データです。 特徴として、 鉄道信号システム 閉塞方式 軌道回路 車軸検知装置 連動装置 CTC PRC 鉄道設備技術 鉄道工学 を中心とした技術系データを採用しました。 一方で、 鉄道会社一覧 最新ダイヤ 車両運用 路線情報 など変化しやすい情報は極力学習対象から除外しています。 これは将来的な保守性を考慮した設計です。 データセット作成方法 今回の学習データは手作業のみで構築したわけではありません。 構築の流れとしては、 資料収集 ↓ LM Studio ↓ VS Code ↓ Python 自動処理 ↓ JSONL 生成 ↓ Kaggle ↓ QLoRA 学習 という流れで行いました。 大量の鉄道技術資料や解説資料をもとに、 Python で自動整形・分類を実施し、最終的に JSONL 形式へ変換しています。 その後、 Kaggle 環境で QLoRA 学習を行い、 JapanRailwayGuideWatcher として学習させました。 学習環境 ベースモデル unsloth/gemma-4-E4B-it 学習方式 QLoRA 出力 final_adapter 生成された LoRA アダプターサイズは約 140MB となりました。 マージ作業 学習後は Gemma 4 E4B IT へ LoRA を統合しました。 構成は以下の通...

JapanRailwayLLMシリーズgemma4ベースJapanRailwayGuideWatch(Gemma4)学習進捗報告/JapanRailwayLLM Series — Gemma4‑based JapanRailwayGuideWatch Training Progress Report

JapanRailwayLLM シリーズ gemma4 ベース JapanRailwayGuideWatch ( Gemma4 )学習進捗報告 JapanRailwayLLM シリーズ の一環として、 Gemma4 をベースとした JapanRailwayGuideWatch の学習を継続しています。 今回の学習では、 JapanRailwayLLM で使用した JSONL データを結合 し、さらに新たに少量のデータを付け加えたものを使用しています。 これにより、既存の鉄道技術知識を維持しつつ、新しい情報を補強した学習が可能になっています。 本モデルは JapanRailwayLLM シリーズに属しますが、従来の Gemma2 ベースのモデルとは異なり、 Gemma4 では画像認識能力が追加されています。 そのため、シリーズ名も従来の JapanRailwayLLM から、画像入力を扱える JapanRailwayGuideWatch へと変更しました。 学習ログ(ステップ 50 〜 2000 ) 50 〜 500 Step 50 Loss 0.9685 Step 100 Loss 1.0515 Step 150 Loss 1.1390 Step 200 Loss 1.1379 Step 250 Loss 1.0015 Step 300 Loss 1.0366 Step 350 Loss 0.9793 Step 400 Loss 1.0245 Step 450 Loss 0.9865 Step 500 Loss 0.8974 550 〜 1000 Step 550 Loss 0.9235 Step 600 Loss 0.9781 Step 650 Loss 0.9158 Step 700 Loss 0.9140 Step 750 Loss 0.8885 Step 800 Loss 1.0023 Step 850 Loss 0.8743 Step 900 Loss 0.9163 Step 950 Loss 0.9248 Step 1000 Loss 0.9498 1050 〜 1500 Step 1050 Loss 0.9044 ...