ブログ

Blog

ローカルLLM検証と、ComfyUI動画制作の現場ノート。

推論エンジンや量子化などの評価前段から、性能・品質の測り方、ComfyUI学習まで。週3本(月・水・金に各1本)でシナリオ順に公開しています。

用語集(run_id / dry-run など)

Series

連載をシナリオ順に読む

AI

測ってから選ぶ、ローカルLLM運用

社内検証基盤をもとに、評価前段(推論エンジン地図: vLLM/TRT-LLM/SGLang/Atlas・量子化・投機・性能/品質)から運用比較まで、シナリオ順に公開します。

記事を見る
AI

AIエンジニアリング再入門

増え続けるAI設計用語を改めて整理し、初心者にもわかる図と具体Use Caseで理解を深めるシリーズ。ローカルLLM検証の本線とは別枠です。

記事を見る

Latest

新着記事

Config
AI 公開日 中級

どの設定が勝つか:7段の優先順位

共有テンプレートと個別設定がぶつかったとき、どちらが効くかを見失わない設計を解説します。

クムビーバー
クムビーバー 現場実装 / Platform Engineer
測ってから選ぶ、ローカルLLM運用

AI Series

測ってから選ぶ、ローカルLLM運用

社内検証基盤をもとに、評価前段(推論エンジン地図: vLLM/TRT-LLM/SGLang/Atlas・量子化・投機・性能/品質)から運用比較まで、シナリオ順に公開します。

  1. 01
    なぜローカルLLMの検証手順を公開するのか

    公開日

    「最強モデル」の宣言ではなく、会議で同じ物差しで比べるための型を公開する意図を整理します。

  2. 02
    実験に通し番号を付ける:あとから再現できる検証の型

    公開日

    速さの数字より先に、条件と結果を後から辿れる記録の付け方を解説します。

  3. 03
    起動の前に空撃ちする:壊さないローカルLLMの始め方

    公開日

    本番起動の前に生成コマンドを確認する習慣と、設計担当と実行担当を分ける考え方を解説します。

  4. 04
    起動設定ファイルの読み方:Gemma4を例に

    公開日

    YAMLに書かれたモデル名・メモリ枠・文脈長・パーサの見方を、具体例で解説します。

  5. 05
    速さと正しさは別もの:二軸で評価する

    公開日

    速さだけでは採用できない理由と、性能と品質を同じ実験記録に残す評価の型を解説します。

  6. 06
    1人の速さだけでは足りない:混雑時の測り方

    公開日

    同時に何人が使っても耐えるかを測るため、待ち時間・同時実行・処理量の見方を整理します。

  7. 07
    ベンチ数字が嘘をつくとき:試験台と実機を混ぜない

    公開日

    開発機での確認値と実機GPUの計測を混同しない読み方と、公開前のチェックを解説します。

  8. 08
    推論エンジンとは何か:速さを語る前の地図

    公開日

    モデルを届ける実行基盤の役割と、比較候補の特徴・向きを整理します。勝ち負けの数字はここでは出しません。

  9. 09
    「量子化した」では足りない:重み・計算・記憶の分け方

    公開日

    モデル圧縮を一語で済ませず、どこを粗くしたかを分けて記録・比較する地図を解説します。

  10. 010
    先読みで速くする仕組み:コーディング用途での検証法

    公開日

    下書きを先に作って速く見せる手法の考え方と、コーディング用途でどう測るかを整理します。

  11. 011
    速さの測り方:何を、どの順で、どう読むか

    公開日

    届くか確認してから単発、その後に同時実行へ進む手順と、平均だけでは足りない理由を解説します。

  12. 012
    品質の測り方:短い確認から用途別テストへ

    公開日

    壊れていないかを先に見る短い確認から、用途ごとの問題セットへ進む品質評価の設計を解説します。

  13. 013
    まず3つの短い確認:コード・JSON・ツール呼び出し

    公開日

    重いベンチの前に、業務で壊れやすい3点だけを素早く見る門番テストの設計です。

  14. 014
    採点を機械に任せる:含有・JSON・ツール呼び出し

    公開日

    オフラインで回せる自動採点の役割分担と、AI判定を後段に回す理由を解説します。

  15. 015
    候補から本番候補へ:モデル台帳の回し方

    公開日

    モデルを名前一覧ではなく、候補・試験中・安定の状態遷移で管理する方法を解説します。

  16. 016
    測って比べて、次は1つだけ変える

    公開日

    ローカルLLM運用を、単発チューニングではなく改善ループとして回す方法を紹介します。

  17. 017
    どの設定が勝つか:7段の優先順位

    公開日

    共有テンプレートと個別設定がぶつかったとき、どちらが効くかを見失わない設計を解説します。

AI Series

AIエンジニアリング再入門

増え続けるAI設計用語を改めて整理し、初心者にもわかる図と具体Use Caseで理解を深めるシリーズ。ローカルLLM検証の本線とは別枠です。

  1. 01
    AIエンジニアリング再入門:プロンプトだけでは足りない3層

    公開日

    増え続けるAI設計用語を判断・実行・運用の3層に整理し、業務に合う最小構成を選ぶ地図を図解します。

  2. 02
    Loopを理解する:失敗したテストを直す例

    公開日

    目標・行動・観察・外部検証・停止条件を、失敗した単体テスト修正の例で図解します。

  3. 03
    Graphを理解する:観光FAQの分岐と承認

    公開日

    複数工程の分岐・並列・合流・人間承認を、観光FAQの流れで初心者向けに図解します。

Contact

観光DX・ローカルLLMの課題感があればご相談ください。