JapanRailwayLLM開発記録 Google Colabからkaggleへ移行し、10,000step学習を突破／JapanRailwayLLM Development Log Migrating from Google Colab to Kaggle and Surpassing 10,000 Training Steps
JapanRailwayLLM開発記録 Google Colabからkaggleへ移行し、10,000step学習を突破 日本の鉄道知識に特化したLLM「JapanRailwayLLM」の継続学習環境を構築し、最終的に10,000stepを超える長期学習に成功した。 今回は学習性能だけでなく、以下の運用環境整備が大きな成果となった。 Google ColabからKaggleへの移行 自動チェックポイント運用 Hugging Face連携 長期学習の安定化 プロジェクト概要 ベースモデルは Gemma 2 9B Instruct を採用し、LoRAによる追加学習を実施した。 目的は、日本の鉄道技術・保安装置・運転保安・電化方式・信号システム・車両システムなどの知識を重点的に習得した日本語鉄道特化モデルの構築である。 データセット 学習データは複数のJSONLファイルから構成される。 データセット数： 7ファイル 総サンプル数： 41,879サンプル 学習環境 初期環境：Google Colab 長時間学習では以下の問題が発生した。 GPU利用制限 セッション切断 ランタイム消失 改善後：Kaggleへ移行 学習途中で checkpoint-4000 を保存し、Kaggleへ移行。その後は以下のように継続学習を行った。 checkpoint-4000 checkpoint-5000 checkpoint-6000 checkpoint-7000 checkpoint-8000 checkpoint-9000 checkpoint-10000 チェックポイント運用 500stepごとに自動保存する仕組みを導入。 生成例： checkpoint-4500 checkpoint-5000 checkpoint-5500 checkpoint-6000 checkpoint-6500 checkpoint-7000 checkpoint-7500 checkpoint-8000 checkpoint-8500 checkp...
