カメラ画像内のリスクを先読みせよ！生成AIの設計・評価・エッジ組み込みで目指す、「熟練ドライバーレベルの安全運転」

「従来の画像認識モデルでは見えている物の物理状態を正確に把握することは十分可能です。ただし、全体の場面をとらえた常識ある運転はできないと思っています」と鷹野はいいます。

たとえば上記のイメージ資料のような「イントロダクション」にある図のケースの場合、左側の自転車が目の前に侵入してくるかもしれないし、左のクルマは道を譲ってくれないかもしれない。右側に停まっている観光バスの先には子どもがいて、飛び出してくるかもしれない。

このような状況に対応するため、鷹野は「生成AIで熟練ドライバーレベルの安全運転を実現しようとしている」と語ります。

まず鷹野は、「生成AIモデルのClaude 3.5 Sonnet」に画像を入力し「この位置のクルマについて詳しく教えて」とたずねました。結果は、「左のSUVの座標を指定して聞いたのに、右のセダンの説明が返ってきました。先は大分、長そうだと思いました」と鷹野は振り返ります。

そこでタスクを「もう見えているもの（顕在リスク推定）」と「まだ見えていないもの（潜在リスク推定）」に分割することにします。

たとえば顕在リスクでは、

⚫︎ 参照表現：合流する黒いクルマ
⚫︎ クラス：譲る
⚫︎ 理由：交差点に進入し、対向クルマの進路を妨げているため

という言葉を生成します。

そして画像全体の運転ポリシーは「左側から合流するクルマに道を譲ってくださいというタスクを解いてください」という設計にしたのです。

次に行ったのはこのタスクを解く生成AIの選定です。鷹野は画像認識ベンチマーク「MMBench」を使い、さまざまな生成AIをモデル規模と性能からベースモデルを選定していきました。

そのなかから「Qwen2（パターン1）」「InternVL2（パターン2）」「Claude 3.5 Sonnet（パターン3）」の3つのモデルに絞り、性能比較を行いました。

その結果、パターン1とパターン2、パターン3ともに認識精度はまだまだだが、定性評価はそれなりにできたと鷹野は振り返ります。

しかし、定量評価をしようとしたところで問題が発生。意味は合っているのに性能が低かったからです。原因は、意味は合っているが表現が違っていたことでした。これまでは論文に従い、「CIDEr」という連続する単語の出現頻度を元に評価するアルゴリズムを採用していました。同指標には、語順の変化と単語の言い換えに対応できない、単語の意味と文章を評価できない、という課題がありました。

そこでN-gramベースの課題を解決すべく登場したBERTScore※1を採用することにしました。これによって単語の意味的類似度を計算することができるようになりましたが、まだ文全体の意味を考慮しているわけではありませんでした。

※1：BERTScore
BERT※2などのモデルを用いて文間の類似性のスコアを出力するタイプの評価指標

※2：BERT（Bidirectional Encoder Representations from Transformers）とはGoogleが開発した自然言語処理のための深層学習モデル。言語理解タスクを実行することができ、文の意味や文脈を理解することができる。

この課題を解決するために提唱されたのが、RAG（検索拡張生成）などで活用されているSentence-BERT※3です。「RAGを参考に、単語の意味、文意を評価可能にするメトリクスを採用することにしました」
（鷹野）

※3：Sentence-BERT(SBERT)とは
BERTモデルを基盤とし、より高精度な文章の埋め込みベクトル（意味を数値化したベクトル）を生成するためにファインチューニング（微調整）したモデル

こうして良い評価指標は得られましたが、今度は「自然言語の目標値とは何なのか」という問題にぶつかりました。頭を悩ませて着眼したのは、自然言語の豊富な学習データにすることです。

「同じ画像に対して5人別々にアノテーションしてもらいました」
（鷹野）

そして5人のアノテータのばらつきから目標値を策定し、人間同等を目指すことを思いついたのです。

これもパターン1、パターン2、パターン3で性能を比較しました。するとSentence-BERTではパターン1が人間の平均より高スコアとなったのです。「代表者の表現を学んだと考えられる」と鷹野はいいます。

残念ながらすべてのパターンで矩形性能は目標を達成することはできませんでしたが、高性能なモデルをファインチューンすることで、自然言語性能は目標達成が実現できたのです。

「開発PCとGPUで動かせただけではまだまだ。車載SoCのバジェット内で推論する必要があります」
（鷹野）

そこで今度は量子化変換して処理速度を実測することにしました。

これまでの経験上、量子化すると認識精度が落ちることは予測していました。しかしLLMでどんなことが起こるかは未知で、「エンジニアとしては楽しみだった」と鷹野はいいます。結果は「中国語が出てきた」とのことでした。

今回の検証では処理速度は向上しましたが、仮目標だった10fpsには遠く及びませんでした。

「そもそもリスク認識を10fpsで回し続ける必要があるのか、処理速度重視のプロンプトを使った方が良いのかなど、考えるところはいっぱいありますが、1つパスを通すことができました。試行錯誤はまだまだ続きます」
（鷹野）

4人のセッションが終わり、稲田を進行役に迎え、トークセッションが開催されました。

Q．デンソーエンジニアの「キャリア」を振り返る

稲田：どのようにして自分のキャリアを築いてきましたか？

野場：入社してから6年間ずっと筐体（きょうたい）設計に携わっていました。すごく良い職場だったのですが、私にはより安心安全に皆さんが運転できるような技術を自分で作っていきたいという夢がありました。デンソーにはそういう想いを打ち明けられる場があり、そこで当時の上司に話したところ、周囲のサポートもあり、自分の想いと一致するような部署に異動できました。

鷹野：野場さんが話したように、デンソーは自分の意見が通るいい会社だなと思います。社会人になったときは研究開発部門(R&D)がかっこいいと思い、R&Dの部署を希望していました。その後、エンジニアの自分が作ったAIが搭載されたクルマが走っている姿が見られるなど、量産の現場だからこそ学べる知識やロマンがあると思い、たくさんの人に調整してもらって量産の部署に移りました。

何世代かAIをリリースして、そろそろ次世代開発に携わりたいと思ったときに、また多くの人に声をかけて今の部署に異動しました。自分で動いていけるので、僕にとってはとても魅力的な会社だと思います。

二反田：私は海外で働きたい、最終的な製品に携わりたいという気持ちもあったので、量産の部署に異動しました。社内の制度として異動のシステムがあるので、そういうものを使いながらキャリアデザインをしてきたという感じです。

Q．デンソーエンジニアの「原動力」とは

稲田：量産化するには色々な苦労が伴います。そんな状況でも、なぜやり続けられるのでしょうか。皆さんの原動力を教えてください。

二反田：運転に不慣れな人や新しく免許を取得した人のなかには、駐車が苦手と感じる人もたくさんいます。そんな人たちから「駐車する際の心配がなくなった」という声を聞くたびに、もっと頑張ろうと思えます。

今は主に駐車が苦手な人からの声が大半ですが、駐車が得意な人でも使いたいと思えるようなシステムにしていきたい。それが今後、頑張るエネルギー源になっていくと思います。

稲田：そうですね。運転が得意な人からするともう少しスマートに停めてほしいという期待があると思います。 )

鷹野：量産の部署はみんな泥臭いことをやりながらも、肩を組んでやっているみたいな感じが僕はすごく好きで、そういう現場があることを知れて良かった。社会人になってできた仲間と一緒に頑張った達成感は格別です。もっとデンソーでリリースに携わりたいと思います。

稲田：私も「Global Safety Package」の最初の世代のリリースを担当したのですが、そのときに一緒になって汗を流したメンバーは、いまだに強いつながりがあります。そういうつながりもあるのが、デンソーのいいところの一つなのだと思いました。

野場：僕はデンソーでは珍しく運転が苦手な人間。新しい道を走るのも怖いですし、狭い道とかもできれば運転したくない。クルマの運転が怖いと思っているのは僕だけじゃないと思うんですよね。だから勝手にですけど、そういった想いも背負いながら安心安全なものを作っていきたいです。

稲田：私はもともとクルマが大好きで、デンソーに入社し今に至ります。これまでは、好きなクルマで事故を起こして悲しい思いをさせる人を減らしたいという想いから携わってきました。

最近は、低迷している日本の国力を、自動車産業の一員として盛り上げていきたいという想いを持ちながら、色々なことにチャレンジしています。

デンソーエンジニアの今後の「チャレンジテーマ」とは

稲田：最後のテーマです。皆さんは今後、どんなチャレンジをしていきたいですか？

鷹野：これまで量産で苦労してきたところを、もっと良くしていきたいなと思っています。今は次世代の製品の開発をしているわけですが、仲間たちがまだたくさん苦労しているところがあります。

量産側にいると、もっとこういう技術シーズを早めに持ってきて欲しかったという想いがありました。今は自分が技術シーズを届ける立場になっているので、量産側の人たちを助けたい、それが僕のチャレンジしたいことです。

野場：私は次世代センサーフュージョン開発や自動運転向けの認識アルゴリズムの先行開発の分野に来てまだ日が浅いのですが、できることをどんどん増やしていくこと、究極を言えば認識できるようなものをほかの人よりも開発していくことがこれからのチャレンジですね。

二反田：1つ目は自動駐車をもう少し普及させること。駐車が苦手な人だけではなく、駐車が得意な人も使いたいと思えるものを世に送り出したいです。

2つ目はP2P（Parking to Parking）を広げていくこと。これは私たちの産業にとっても必要なことだと思っています。

3つ目は少し突飛かもしれませんが、我々が開発した技術をクルマ以外の製品やサービスなどに応用していきたい。この3つが私のチャレンジです。

トークセッションが終わり、最後は質疑応答の時間が設けられました。抜粋して紹介します。

Q.テスラはLiDARなしでレベル5が可能としていますが、本当に可能だとお考えでしょうか。

野場：個人的な意見ですが、人間も目で運転しているので可能だとは思います。ですが、「交通事故死亡者ゼロ」を達成するためには、複数のセンサーを活用して補完し合いながら実現するのが良いと思います。

鷹野：ある程度のものであればある時期にリリースはできると思いますが、あるレベルまで突き詰めるということになると、それなりの時間がかかるのかなと思います。

Q.「レアケースに対応するための開発」と、「よくあるケースを確実に抑える精度向上の開発」の2つを考えたときに、開発コストのバランスをどのように考えて取り組んでいるのでしょうか。

稲田：当然、交通事故死亡者ゼロ実現に向けて取り組んで行くのですが、レアケースに対応しようとすると、より労力とコストがかかってしまう。ですが、これに対応することで、ドライバーが安心安全に楽に運転できる技術に転用できて、価値を生み出せるのではと考えています。したがって、安心と快適さの両軸を持った機能として提供できるようにする。そこを果敢に攻めているところです。

Q.事故を減らすために、最終的には人間のドライバーは完全にいなくなる方がいいと思いますか。

二反田：個人的には、事故を減らすためとはいえ、最終的にドライバーがいなくなる方がいいとあまり思っていません。

運転が苦手な人は、自動運転を使いたいという気持ちはあると思いますが、クルマ好きな方は、自分で運転する方が好きだと思います。

クルマ好きで自分で運転したいドライバーに対しても必要になるのは、自動運転的なものではなく、やっぱり事故を減らすような運転支援技術、ADASなのだと思います。

自動運転で完全にコントロールされていれば、事故はゼロになるかもしれません。ですが、私たちは事故ゼロとともに、移動の楽しみ、楽しい運転体験も追求していかなければならないと思います。

なので回答からはずれてしまうかもしれませんが、ドライバーがいる前提で事故を減らしていくところも進めていく、というのが私の意見です。

稲田：私も完全に自動で移動することだけが答えではないのではないかと思っています。自動運転のクルマと人が運転するクルマが混在した環境でも、どうすれば事故をゼロにできるのか。それが我々の目指すところなのかなと思っています。

※所属組織および取材内容は2025年8月時点の情報です。

前回までの内容はこちら

• Vol.1 ：「デンソーの技術開発のリアルな悩み？」
• Vol.2 ：「駐車場での安心安全を世界中に！見えない危険を回避する自動駐車向け画像認識技術 」
• Vol.3 ：「目だけでは見えないリスクを発見！車両の周辺環境を高精度に認識するためのセンサーフュージョン開発」

• ソフトウェア特集ページ
• ソフトウェア採用ページ