JapanRailwayLLM開発記録 Google Colabからkaggleへ移行し、10,000step学習を突破／JapanRailwayLLM Development Log　Migrating from Google Colab to Kaggle and Surpassing 10,000 Training Steps

-

JapanRailwayLLM開発記録 Google Colabからkaggleへ移行し、10,000step学習を突破

日本の鉄道知識に特化したLLM「JapanRailwayLLM」の継続学習環境を構築し、最終的に10,000stepを超える長期学習に成功した。

今回は学習性能だけでなく、以下の運用環境整備が大きな成果となった。

  • Google ColabからKaggleへの移行
  • 自動チェックポイント運用
  • Hugging Face連携
  • 長期学習の安定化

プロジェクト概要

ベースモデルは Gemma 2 9B Instruct を採用し、LoRAによる追加学習を実施した。

目的は、日本の鉄道技術・保安装置・運転保安・電化方式・信号システム・車両システムなどの知識を重点的に習得した日本語鉄道特化モデルの構築である。

データセット

学習データは複数のJSONLファイルから構成される。

  • データセット数： 7ファイル
  • 総サンプル数： 41,879サンプル

学習環境

初期環境：Google Colab

長時間学習では以下の問題が発生した。

  • GPU利用制限
  • セッション切断
  • ランタイム消失

改善後：Kaggleへ移行

学習途中で checkpoint-4000 を保存し、Kaggleへ移行。その後は以下のように継続学習を行った。

  • checkpoint-4000
  • checkpoint-5000
  • checkpoint-6000
  • checkpoint-7000
  • checkpoint-8000
  • checkpoint-9000
  • checkpoint-10000

チェックポイント運用

500stepごとに自動保存する仕組みを導入。

生成例：

  • checkpoint-4500
  • checkpoint-5000
  • checkpoint-5500
  • checkpoint-6000
  • checkpoint-6500
  • checkpoint-7000
  • checkpoint-7500
  • checkpoint-8000
  • checkpoint-8500
  • checkpoint-9000
  • checkpoint-9500
  • checkpoint-10000

学習中に環境が停止しても、直近のチェックポイントから再開できる。

Hugging Face自動バックアップ

学習成果を保護するため、Hugging Faceへの自動アップロード機能を実装。

学習中は adapter_model.safetensors が自動更新されるため、Kaggle停止やColab切断が発生しても学習成果を失わない構成となった。

LoRA構成

保存される主なファイル：

  • adapter_model.safetensors
  • adapter_config.json
  • tokenizer.json
  • tokenizer.model
  • tokenizer_config.json
  • training_args.bin

このうち継続的に更新されるのは adapter_model.safetensors であり、サイズは約 216MB となった。

Loss推移

  • 学習初期： 1.0〜1.2
  • 1000step付近： 0.8〜1.0
  • 5000step付近： 0.4〜0.8
  • 8000step付近： 0.3〜0.6
  • 10000step付近： 0.2〜0.6
  • 最低Loss： 0.209503

学習状況の分析

Lossはステップが進むにつれて着実に低下している。一方で上下動も継続しているが、これは学習データの難易度差によるものであり、学習崩壊や発散の兆候は見られなかった。

今後の評価

最終的な評価は鉄道専門問題によって行う予定である。

  • ATSとは？
  • ATS-Sとは？
  • ATS-Pとは？
  • ATCとは？
  • CTCとは？
  • ATOSとは？
  • 交流電化と直流電化の違いは？
  • 東海道新幹線とは？

現状まとめ

  • 学習状況： 10,000step突破
  • データセット： 7ファイル / 41,879サンプル
  • バックアップ： Google Drive / Hugging Face
  • 自動Checkpoint： あり
  • 学習状態： 安定

評価

  • 学習環境：★★★★★
  • バックアップ体制：★★★★★
  • LoRA運用：★★★★★
  • 学習安定性：★★★★☆
  • 実回答性能：評価中

今回の最大の成果は、単純なモデル学習ではなく、長時間学習しても成果が失われない継続運用環境を構築できたことである。

Google Colab、Kaggle、Google Drive、Hugging Faceを組み合わせることで、日本鉄道特化LLMの長期育成基盤を構築することができた。

https://www.tumblr.com/galakenya/831080456861745152
https://www.tumblr.com/galakenya/831080465073160192/japanrailwayllm%E9%80%B2%E6%8D%97%E7%8A%B6%E6%B3%81%E7%94%BB%E5%83%8F
https://www.tumblr.com/galakenya/831080469909127168

10000ステップまで学習したやつだけどしっくりこない感じがするな。 1000ステップは嘘を誤魔化して事実化のように語りだす感じではあった。

[image or embed]

— がーらけにあ・森山健一【GalaKenya】Japanese (@galakenya.bsky.social) 2026年10月21日 21:03

JapanRailwayLLM Development Log　Migrating from Google Colab to Kaggle and Surpassing 10,000 Training Steps

The JapanRailwayLLM project, a Japanese railway–specialized language model, successfully established a long-term training environment and achieved over 10,000 training steps.

In this phase, the major accomplishments were not only model performance but also improvements in operational stability, including:

  • Migrating from Google Colab to Kaggle
  • Automated checkpoint management
  • Integration with Hugging Face
  • Stabilizing long-duration training

Project Overview

The base model is Gemma 2 9B Instruct, trained further using LoRA.

The goal is to build a Japanese-language model specialized in railway knowledge, including:

  • Railway engineering
  • Train protection systems
  • Operational safety
  • Electrification systems
  • Signaling systems
  • Rolling stock systems

Dataset

The training dataset consists of multiple JSONL files.

  • Number of files: 7
  • Total samples: 41,879

Training Environment

Initial Environment: Google Colab

Long-duration training faced several issues:

  • GPU usage limits
  • Session interruptions
  • Runtime resets

Improved Environment: Kaggle

After saving checkpoint-4000, training was migrated to Kaggle. Subsequent checkpoints were generated as follows:

  • checkpoint-4000
  • checkpoint-5000
  • checkpoint-6000
  • checkpoint-7000
  • checkpoint-8000
  • checkpoint-9000
  • checkpoint-10000

Checkpoint Management

A system was implemented to automatically save checkpoints every 500 steps.

Generated examples:

  • checkpoint-4500
  • checkpoint-5000
  • checkpoint-5500
  • checkpoint-6000
  • checkpoint-6500
  • checkpoint-7000
  • checkpoint-7500
  • checkpoint-8000
  • checkpoint-8500
  • checkpoint-9000
  • checkpoint-9500
  • checkpoint-10000

Even if the environment stops, training can resume from the latest checkpoint.

Hugging Face Automatic Backup

To protect training progress, an automatic upload system to Hugging Face was implemented.

The file adapter_model.safetensors is updated continuously during training, ensuring that progress is preserved even if Kaggle or Colab sessions terminate unexpectedly.

LoRA Configuration

Main saved files:

  • adapter_model.safetensors
  • adapter_config.json
  • tokenizer.json
  • tokenizer.model
  • tokenizer_config.json
  • training_args.bin

The file updated throughout training is adapter_model.safetensors, with a final size of approximately 216MB.

Loss Progression

  • Initial training: 1.0–1.2
  • Around 1000 steps: 0.8–1.0
  • Around 5000 steps: 0.4–0.8
  • Around 8000 steps: 0.3–0.6
  • Around 10000 steps: 0.2–0.6
  • Lowest recorded loss: 0.209503

Training Analysis

The loss consistently decreased as training progressed. Although fluctuations remained, these were due to varying dataset difficulty rather than instability.

No signs of collapse or divergence were observed.

Future Evaluation

Performance will ultimately be evaluated using railway-specific questions, such as:

  • What is ATS?
  • What is ATS-S?
  • What is ATS-P?
  • What is ATC?
  • What is CTC?
  • What is ATOS?
  • Difference between AC and DC electrification?
  • What is the Tokaido Shinkansen?

Current Summary

  • Training progress: Surpassed 10,000 steps
  • Dataset: 7 files / 41,879 samples
  • Backup: Google Drive / Hugging Face
  • Automatic checkpoints: Enabled
  • Training stability: Stable

Evaluation

  • Training environment: ★★★★★
  • Backup system: ★★★★★
  • LoRA operation: ★★★★★
  • Training stability: ★★★★☆
  • Answer quality: Under evaluation

The greatest achievement of this phase is not simply model training, but the establishment of a robust long-term training environment that preserves progress even during interruptions.

By combining Google Colab, Kaggle, Google Drive, and Hugging Face, a reliable long-term development foundation for the JapanRailwayLLM has been successfully built.

コメント

コメントを投稿

このブログの人気の投稿

名鉄の存廃問題と廃線の決まった路線(2025年2月時点)／Meitetsu's survival issues and the routes that were decided to be discontinued (as of February 2025)

-
イメージ
 名鉄広見線の一部区間（新可児～御嵩）と西尾・蒲郡線（西尾～吉良吉田～蒲郡）は、利用客減少と赤字により廃線の危機に瀕しています。また名鉄以外に2025年2月時点で廃線が決まっている路線をピックアップしました。 広見線（新可児～御嵩） 2025 年 6 月に存続か廃止かの判断が下される予定です。 沿線人口減少とコロナ禍により利用者が大幅に減少し、年間 2 億円前後の赤字が出ています。 名鉄は自治体に対し、路線の維持には 15 年で約 17 億 6000 万円の投資が必要だと伝えています。 自治体は、年間約 1 億 8000 万円の維持費を負担する「みなし上下分離方式」か、年間約 6400 万円のバス転換かの選択を迫られています。 住民からは、通学時間の増加や若者の地域離れを懸念する声が上がっています。 西尾 ・ 蒲郡線 （西尾～吉良吉田～蒲郡） 西尾市 と 蒲郡市 が名鉄に年間 2 億 5000 万円を支援することで、 2025 年度までの運行継続が決定しています。 2026 年度以降の運行は未定で、 2024 年度末までに検討会が方向性を示す予定です。 蒲郡線（吉良吉田～蒲郡）は輸送密度が低く、国の地域公共交通再構築事業の対象となっています。 西尾市は、名鉄西尾・蒲郡線の存続に全力を尽くすとしており、「上下分離方式」の導入も検討しています。 沿線自治体は、観光資源の活用や利用促進など、路線の維持に向けた取り組みを行っています。 IC カード非対応区間について 広見線の一部区間（新可児～御嵩）と蒲郡線全線（吉良吉田～蒲郡）は IC カード（ manaca ）が利用できません。 名鉄自身は、これらの区間の運営は困難としており、廃線を前提に IC カードを導入していないと考えられます。 ただし、廃線検討区間のうち西尾線全線は IC カードに対応しています。 路線の今後 名鉄広見線、西尾・蒲郡線ともに、沿線自治体や住民が協力して利用促進や地域活性化に取り組むことが、路線の存続には不可欠です。 廃線の決まった路線たち １．弘南鉄道大鰐線 区間 : 中央弘前駅～大鰐駅 ( ちゅうおうひろさきえき～おおわにえき ) 現状 : 沿線５市町村が、弘南鉄...
続きを読む

JR東日本の小規模駅で進む「簡易Suica改札機」導入とは？背景・現地の様子・今後の展望／What’s Behind JR East’s “Simplified Suica Gate” Rollout at Small Stations?

-
イメージ
JR 東日本の小規模駅で進む「簡易 Suica 改札機」導入とは？背景・現地の様子・今後の展望 相模線の現場から全国の鉄道の未来まで―キャッシュレス化で駅はどう変わる？ 最近、 JR 東日本の小規模駅で「簡易 Suica 改札機」への切り替えが急速に進んでいます。従来の自動改札機に代わり、 IC カード専用でゲートのない簡易型端末が登場し、特に相模線の上溝駅や南橋本駅、番田駅などでその動きが目立ちます。今回は、その背景や現地の様子、利用者の声、そして鉄道業界の最新トレンドまで、ブログ記事形式でわかりやすくまとめます。 なぜ「簡易 Suica 改札機」導入が進んでいるの？ l    経営の効率化とデジタル化：鉄道利用者の減少（少子高齢化、コロナ禍など）に対応するため、 JR 東日本はコスト削減と駅無人化を進めています。従来の自動改札機は高額な設備・維持費がかかりますが、簡易 Suica 改札機なら設置・運用・保守コストを大幅にカットできます。 l    IC カードの普及：首都圏ではほとんどの利用者が Suica など IC カードを使っており、キャッシュレス・スマートフォン決済が当たり前に。社会的にも非接触・タッチレスニーズが高まったことで、 IC 専用改札への移行が後押しされています。 簡易 Suica 改札機ってどんなもの？ l    ゲートや紙きっぷ投入口がなく、 IC カードリーダーとディスプレイのみのシンプルな端末 l    入場用・出場用で分かれていて、カードやスマホをタッチするだけ l    エラー時は音やランプで通知、複数枚カードの同時タッチは NG l    省スペース・低コストで無人駅や狭いスペースにも設置しやすい l    将来的には QR コードや顔認証にも対応可能 相模線の導入状況と現地の様子 上溝駅 導入済・中規模駅 南橋本駅 導入済・利用者多め 番田駅 導入済・無人駅 宮山駅・倉見駅・門沢橋駅・社家駅・入...
続きを読む

西鉄貝塚線、7050形が新造台車を履き転属搬入／Nishi-Tetsu Kaizuka Line Receives 7050 Series with Newly Built Bogies for Transfer

-
イメージ
西鉄貝塚線、 7050 形が新造台車を履き転属搬入 2025 年 8 月 21 日 、西日本鉄道貝塚線の後継車両として、天神大牟田線から転属する予定の 7050 形 7151 編成 が、多々良車両基地に陸送で搬入されたことが確認されました。 今回の転属に際し、 7050 形は貝塚線特有の黄色い塗装「オキサイドイエロー」に塗り替えられています。この鮮やかな黄色い車体は、これまで貝塚線を走ってきた 600 形の「アイスグリーン」とは大きく異なるもので、新旧車両が並んだ際には対照的な姿を見せました。 最も注目されるのは台車の変更です。これまで標準軌（ 1,435mm ）である天神大牟田線を走っていた 7050 形は、狭軌（ 1,067mm ） である貝塚線に合わせるため、台車を交換する必要がありました。これまでの貝塚線車両は、軌間の違いから他社の廃車発生品（主に西武鉄道）を流用していましたが、 7050 形は 川崎車両が 2025 年 6 月に製造したボルスタレス台車「 KW227 」を新たに装着しました。貝塚線に新造のボルスタレス台車が導入されるのは初めてのことです。 7050 形は、天神大牟田線で運行されている 7000 形の 3 扉バージョン として製造された車両で、ほぼ同じ性能を持っています。このほか、 VVVF インバータ制御や電気指令式ブレーキなど、貝塚線では初となる多くの最新機器を搭載しており、これにより貝塚線の技術が大きく進歩することになります。 現在、貝塚線で運行されている 600 形は 8 編成ですが、 7050 形は 9 編成すべてが貝塚線に転属する見込みです。これは、今後の混雑緩和を見越した増強とみられます。 多々良車両基地では、新旧車両である 600 形と 7050 形が並ぶ姿が確認され、西鉄の歴史の新たな 1 ページを刻む光景となりました。   西鉄に乗ってみたい。 ド素人なので、目下増備中の9000形が3ドアなことから貝塚線に行くのは4ドアの7000形かと思いきや3ドアの7050形なのね。 — MTTC@比較画像 (@MTTC16) August 21, 2025 アイスグリーンおるかなってって貝塚に見に来たら7050が貝塚線塗装で運び込まれてて3度見した件 pic.twitter.com/9It7RsB...
続きを読む