投稿

JapanRailwayGuideWatcher Ver1完成へ Gemma 4 E4B ITをベースにした鉄道技術特化モデルの構築／JapanRailwayGuideWatcher Ver.1 Completed: Building a Railway Technology-Specialized Model Based on Gemma 4 E4B IT

-
JapanRailwayGuideWatcher Ver1 完成へ Gemma 4 E4B IT をベースにした鉄道技術特化モデルの構築 これまで鉄道関連の知識ベースや RAG データセットを整備してきましたが、今回は Gemma 4 E4B IT をベースとして、日本の鉄道技術知識に特化した LoRA モデル「 JapanRailwayGuideWatcher 」の構築を行いました。 結果として、 LoRA 学習からマージ、 GGUF 化、 LM Studio での動作確認まで完了し、実用レベルの鉄道技術アシスタントを構築することができました。 学習データ 今回使用した学習データは約 11,500 件の JSONL データです。 特徴として、 鉄道信号システム 閉塞方式 軌道回路 車軸検知装置 連動装置 CTC PRC 鉄道設備技術 鉄道工学 を中心とした技術系データを採用しました。 一方で、 鉄道会社一覧 最新ダイヤ 車両運用 路線情報 など変化しやすい情報は極力学習対象から除外しています。 これは将来的な保守性を考慮した設計です。 データセット作成方法 今回の学習データは手作業のみで構築したわけではありません。 構築の流れとしては、 資料収集 ↓ LM Studio ↓ VS Code ↓ Python 自動処理 ↓ JSONL 生成 ↓ Kaggle ↓ QLoRA 学習 という流れで行いました。 大量の鉄道技術資料や解説資料をもとに、 Python で自動整形・分類を実施し、最終的に JSONL 形式へ変換しています。 その後、 Kaggle 環境で QLoRA 学習を行い、 JapanRailwayGuideWatcher として学習させました。 学習環境 ベースモデル unsloth/gemma-4-E4B-it 学習方式 QLoRA 出力 final_adapter 生成された LoRA アダプターサイズは約 140MB となりました。 マージ作業 学習後は Gemma 4 E4B IT へ LoRA を統合しました。 構成は以下の通...
コメントを投稿
続きを読む

JapanRailwayLLMシリーズgemma4ベースJapanRailwayGuideWatch（Gemma4）学習進捗報告／JapanRailwayLLM Series — Gemma4‑based JapanRailwayGuideWatch Training Progress Report

-
JapanRailwayLLM シリーズ gemma4 ベース JapanRailwayGuideWatch （ Gemma4 ）学習進捗報告 JapanRailwayLLM シリーズ の一環として、 Gemma4 をベースとした JapanRailwayGuideWatch の学習を継続しています。 今回の学習では、 JapanRailwayLLM で使用した JSONL データを結合 し、さらに新たに少量のデータを付け加えたものを使用しています。 これにより、既存の鉄道技術知識を維持しつつ、新しい情報を補強した学習が可能になっています。 本モデルは JapanRailwayLLM シリーズに属しますが、従来の Gemma2 ベースのモデルとは異なり、 Gemma4 では画像認識能力が追加されています。 そのため、シリーズ名も従来の JapanRailwayLLM から、画像入力を扱える JapanRailwayGuideWatch へと変更しました。 学習ログ（ステップ 50 〜 2000 ） 50 〜 500 Step 50 Loss 0.9685 Step 100 Loss 1.0515 Step 150 Loss 1.1390 Step 200 Loss 1.1379 Step 250 Loss 1.0015 Step 300 Loss 1.0366 Step 350 Loss 0.9793 Step 400 Loss 1.0245 Step 450 Loss 0.9865 Step 500 Loss 0.8974 550 〜 1000 Step 550 Loss 0.9235 Step 600 Loss 0.9781 Step 650 Loss 0.9158 Step 700 Loss 0.9140 Step 750 Loss 0.8885 Step 800 Loss 1.0023 Step 850 Loss 0.8743 Step 900 Loss 0.9163 Step 950 Loss 0.9248 Step 1000 Loss 0.9498 1050 〜 1500 Step 1050 Loss 0.9044 ...
コメントを投稿
続きを読む

JapanRailwayLLM開発記録 Google Colabからkaggleへ移行し、10,000step学習を突破／JapanRailwayLLM Development Log　Migrating from Google Colab to Kaggle and Surpassing 10,000 Training Steps

-
JapanRailwayLLM開発記録 Google Colabからkaggleへ移行し、10,000step学習を突破 日本の鉄道知識に特化したLLM「JapanRailwayLLM」の継続学習環境を構築し、最終的に10,000stepを超える長期学習に成功した。 今回は学習性能だけでなく、以下の運用環境整備が大きな成果となった。 Google ColabからKaggleへの移行 自動チェックポイント運用 Hugging Face連携 長期学習の安定化 プロジェクト概要 ベースモデルは Gemma 2 9B Instruct を採用し、LoRAによる追加学習を実施した。 目的は、日本の鉄道技術・保安装置・運転保安・電化方式・信号システム・車両システムなどの知識を重点的に習得した日本語鉄道特化モデルの構築である。 データセット 学習データは複数のJSONLファイルから構成される。 データセット数： 7ファイル 総サンプル数： 41,879サンプル 学習環境 初期環境：Google Colab 長時間学習では以下の問題が発生した。 GPU利用制限 セッション切断 ランタイム消失 改善後：Kaggleへ移行 学習途中で checkpoint-4000 を保存し、Kaggleへ移行。その後は以下のように継続学習を行った。 checkpoint-4000 checkpoint-5000 checkpoint-6000 checkpoint-7000 checkpoint-8000 checkpoint-9000 checkpoint-10000 チェックポイント運用 500stepごとに自動保存する仕組みを導入。 生成例： checkpoint-4500 checkpoint-5000 checkpoint-5500 checkpoint-6000 checkpoint-6500 checkpoint-7000 checkpoint-7500 checkpoint-8000 checkpoint-8500 checkp...
コメントを投稿
続きを読む