2022-05-23 株式会社東芝
概要
当社は、インフラ点検向けに、現場での学習が不要で、点検個所の正常画像を数枚用意するだけでひび・さびのほか、水漏れや異物の付着、部品の脱落などの発生頻度が低く未学習の異常も高精度に検出するAIを開発しました。
本AIは、点検員の危険や移動の負担が伴うような山岳地の鉄塔、橋梁の高架下、法面、太陽光パネルの裏面など点検作業の省力化が求められながらも、これまで現場の画像が少なくAIの導入が困難だった現場への適用が期待できます。
本AIは、点検画像と正常画像の比較を、事前学習で学習済みの深層モデルの特徴量を用いて行うことで、従来必要だった現場での学習が不要となります。さらに、独自の補正技術により、点検画像の撮影位置や角度が正常画像とずれていても高精度に異常個所の検出が可能であり、正常であるにも関わらず特徴的なパターンを異常として検出してしまうといった過検出も抑制します。本AIは、公開データセットによる評価で、世界最高精度(*1)の91.7％を達成しました。本AIにより、インフラ点検の省力化・自動化および異常の早期発見を実現し、社会インフラの長期安定稼働に貢献します。
当社は本AIの詳細を、2022年5月25日に、イタリアで開催されるコンピュータビジョンの国際会議ICIAP2021（21th International Conference on Image Analysis and Processing）で発表します。
開発の背景
社会インフラの長期的な安定稼働のため、インフラ保全の重要性が高まっています。特に国内では、高度経済成長期に整備された道路、橋、トンネルなどの老朽化が急速に進んでいることに加え、保全を担う点検員の高齢化や人手不足といった問題を抱えています。さらに、危険な場所での点検員の負担軽減が課題となっており、安全で効率的なインフラ保全を実現するAIの導入が求められています。インフラ保全の効率化には、発生するさまざまな不特定の異常の早期発見が不可欠です。ドローンやロボットなどを用いて撮影した点検画像から、異常個所を自動で発見できれば、点検の省力化、異常個所の早期発見につながります。
例えばひび・さびなどの特定の異常は、さまざまなひび・さびの画像と正常な画像を大量に収集し、ひび・さびを検出するモデルを作成・学習すれば検出可能です。一方で、インフラ施設において発生する異常や異常につながる変状は、ひび・さびだけではなく、水漏れや油漏れ、落下物や異物の付着、部品の脱落などさまざまなものがあります。従来このような不特定な異常の検出には、多種多様な異常の種類ごとに大量の学習データを用意し学習させる手法、正常時の画像と、点検画像を正確に位置合わせした上で輝度の差分を比較する手法、大量の正常画像を入力し、点検対象の正常画像を再構成するAI（オートエンコーダ）の学習を利用する手法などがありました（図1）。しかし、山岳地の鉄塔、橋梁の高架下などの高所や崖地、洋上風力のタービン、太陽光パネルの裏面など、点検員に危険が伴い立ち入りが難しい、または現地への移動に手間や負担がかかるインフラ施設では、学習に必要な大量のデータ収集や正常時の画像と正確に位置合わせをした画像の撮影が困難です。危険な場所での作業負担の軽減が望まれているにも関わらず、AIの導入が難しく点検作業の自動化・デジタル化の妨げになっていることが課題でした。
図1： 画像による変状個所検出の例
本技術の特長
そこで当社は、数枚の正常画像と点検画像から、異常や異常につながる変状個所を高精度に検出するAI技術を開発しました。
本AIは、大量の画像で事前に学習済みの既存の深層モデルの深層特徴量を比較に用います。現場での異常個所の検出においては、まず、正常画像と点検画像の特徴量を導出します。次に、学習済みの深層特徴量の中から、似たものを自動で選択し、これらの深層特徴量を比較し差分をとることで、異常（変状）部分を検出する異常スコアマップを計算します。これにより、すでに学習済みの深層モデルを用いるため、現場ごとに画像を収集して学習する必要がなく、各点検現場において即座に適用可能です（図2）。異常スコアマップを用いた従来技術(*2)では、正常画像と点検画像で見え方が異なるエッジや構造物は正常であっても深層特徴量に差が生じ、異常として検出するため、実際は異常が無い個所を検出する過検出の発生により、目視により再度確認が発生する問題がありました（図3）。
そのため当社は、従来技術で計算した異常スコアマップに、数枚の正常画像から同じような特徴部分を差し引いて、異常スコアマップを補正する独自の技術を用いることで、異常個所の過検出の抑制に成功しました（図4、図5）。今般、当社は、本AIを用いた太陽光パネルの裏面の点検を模擬した実験を実施し、異常個所を正確に検出できることを確認しました（図6）。
また当社は、公開データを用いた本AIの実験において、画素単位の異常有無の推定精度Pixel-AUROCで、本AIと同様に学習不要な従来技術の89.9%に対し、今般開発したAIは91.7%と世界最高精度の性能を達成しました（図7）。
本AIは、これまで導入が困難だった高所や崖地といった人の立ち入りが危険な現場へのインフラ点検AIの適用を可能にします。さらには、これまでひび・さびといった異常に比べて発生頻度が低く画像認識による検出が困難だった異常も高精度に検出可能となります。本AIにより、インフラ点検の省力化・自動化および異常の早期検出を実現することで、社会インフラの長期安定稼働に貢献します。
図2： 開発技術の概要
図3： 従来技術の概要と課題
図4： 開発技術の特徴
図5： 数枚の正常画像から点検画像の異常を検出した例
図6： 太陽光パネル裏面の点検画像の異常を検出した例
図7： 公開データセットによる従来技術との精度比較
今後の展望
当社は、高度なインフラ点検の実現に向けて、これまで、ひび・さびなどの特定の異常の検出、異常個所のサイズの計測、撮影位置の特定などを高精度に実現するAIを開発しています（図8）。今般開発した技術は、未学習でも発生している異常を検出するAIです。当社は今後、インフラの点検システムへの適用を目指し、2023年度中の実用化に向けて、システム開発および精度のさらなる向上を目指して研究開発を進めてまいります。
図8： 点検画像分析技術による位置づけ
*1 2022年5月23日時点、当社調べ。公開データセットにおいて最高数値をマーク。
公開データセット：Liu, W., Luo, W., Lian, D., Gao, S.: Future frame prediction for anomaly detection– a new baseline. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 6536–6545 (2018)
*2 Sub-Image Anomaly Detection with Deep Pyramid Correspondences arXiv:2005.02357v3
