◆ Fine-tuning（微調整）って何？
- 既存のAIモデルを、特定の用途に合わせて再学習させること
- 要するに「AIにもうちょい賢くなってもらう」作業
- 全体像としては Fine-tuning が親で、その中に種類がある
◆ Fine-tuningの中の分類
① Full Fine-tuning（フルファインチューニング）
- モデル全体のパラメータを更新
- 重い！時間かかる！GPU食う！
- でも自由度高いし、性能も最大限引き出せる
② PEFT（Parameter-Efficient Fine-Tuning）
- 軽量な微調整方法の総称
- 一部のパラメータだけを学習
- モデル本体は凍結（freeze）して、変更はしない
- GPUもコストも少なくて済む ← 最近主流になってる
◆ LoRA（Low-Rank Adaptation）
- PEFTの中の代表格
- 重みの差分を「低ランク行列」で近似して学習
- 学習パラメータは少量 → 軽い・早い・安い
- 例：W' = W + A × B ← AとBだけ学習すればOK
◆ まとめ：含まれ方
Fine-tuning（大）
├── Full Fine-tuning（全部いじる）
└── PEFT（軽量な方法）
├── LoRA（超メジャー）
├── Adapter
├── Prefix Tuning
└── BitFit など
◆ メモ・気づき
- PEFT = LoRA ではない！LoRAはあくまでその中の1つ
- 最近はLoRA＋大規模モデル（LLM）でカスタマイズする流れが強い
- LoRAは「修正シートだけ上から重ねる」感覚で覚えるとイメージしやすい
気になったところ→ PEFT他の手法も調べておくとGood（Adapterとか）