読むだけの採点は10点以内 工場の制御コードは動かすと30点開く

3行まとめ

• PLCPLC工場のライン・発電所・浄水場の機械を動かす産業用の制御装置。用語集でこの語を見る は工場のラインや発電所を動かす制御装置です
• SemaPLC は仕様・コンパイル・実機の3検査が通るまで完了させません
• 4手法の静的な採点静的な採点プログラムの文字列を読み、要求から作った条件が満たされているかを数えた点数。用語集でこの語を見るは10点以内、実機のトレースでは22.4対52.2

何が起きたか

PLC は工場のライン・発電所・浄水場を動かす制御装置です。技術者は IEC 61131-3 という規格の言語でプログラムを書きます。LLM が単体のプログラム部品を書けることは、先行研究が示していました。

Midea AIRC・KUKA・SJTU・ZJU の研究者は SemaPLC を arXiv に公開しました。査読は通っていません。SemaPLC は、生成したロジックを既存の PLC プロジェクトに組み込んで動かします。

SemaPLC はモデルの自己申告を完了と認めません。仕様の照合・コンパイル・実機での実行という3種類の検査を回します。検査の記録がそろったときだけ、SemaPLC は作業を終わらせます。

なぜ難しい・何がすごいか

コンパイラは、動かして初めて分かる欠陥を通してしまいます。論文はタイマーの設定ミス・リセット漏れ・状態遷移の取り違えを挙げています。インターロックの破壊と出力タイミングのずれも、コンパイルを通ります。

65課題を7モデルで解かせた平均で、3手法の静的な採点は71.7から75.7に収まりました。差は4点です。同じ65課題を実機で走らせて実行トレースを比べると、22.4から31.4に散りました。

SemaPLC の静的な採点は81.6、実機トレースの点数は52.2です。実機での実行は、静的な採点が縮めた差を広げ、順位まで入れ替えました。論文は、実行を伴わない評価では信頼できる手法を区別できないと述べています。

たとえ話

料理のレシピを紙の上で採点する場面に置き換えます。採点者は材料の書き漏れと手順の文法を確かめます。分量の単位が抜けていれば、紙の上で見つかります。

火加減の指示が1行前後しているせいで焦げる失敗は、紙では見つかりません。採点者が作って味見するまで、焦げは分かりません。論文が測ったのは味見の点数です。

用語ミニ辞典

• PLC: 工場のライン・発電所・浄水場の機械を動かす産業用の制御装置。
• Structured Text: IEC 61131-3 が定める言語のうち、文字で書くもの。
• 静的な採点: プログラムの文字列を読み、要求から作った条件が満たされているかを数えた点数。
• 動的な採点: 生成したロジックを実機ランタイムに載せて走らせ、隠された正解の実行トレースと出力を比べた点数。
• 検証ゲート: 外部検査の記録が完了条件を満たすまで、エージェントの終了を許さない関門。

技術者向けの深掘り

評価は2つのトラックに分かれます。117課題の単体 POU トラックで、SemaPLC は7モデル全部で首位でした。厳格な verified pass rate の平均は72.6%で、最強の先行手法を8.8ポイント上回りました。

65課題のプロジェクト文脈トラックでは、統合コンパイルが平均89.4です。検証層を1つずつ足したアブレーションは DeepSeek-V4-Flash の1モデルだけです。動的な点数は生成のみの23.1から、仕様検査で30.3、コンパイルで43.7、実機で54.1へ上がりました。

同じアブレーションの静的な点数は71.5から78.0までしか動きません。代償は1課題あたりのリクエスト数で、8.9回から47.8回に増えます。GPT-5.5 では動的な点数の差が65.4対63.6の1.8ポイントに縮みました。

これは自分に関係ある？

制御系の開発をしている人は、採点の作り方を持ち帰れます。コードを読むだけの検査で止めると、手法とモデルの優劣が見えません。論文は65課題で実機の実行まで測り、順位が入れ替わることを示しました。

AI にコードを書かせている人には、完了条件の設計が効きます。外部ツールのログが残ったときだけ通す規律で、117課題の厳格な合格率は最大33.3ポイント上がりました。伸びが大きいのは弱いモデルです。

工場や設備を運用する側にとっては、まだ研究段階の話です。動的な点数の最高は52.2で、査読も通っていません。