• ※1イメージセンサーとして。ソニー調べ。（2020年5月14日広報発表時）

ソニーは、世界初※1となるAI処理機能を搭載したインテリジェントビジョンセンサー 2タイプを商品化します。
本製品は、イメージセンサーにAI処理機能を搭載することで高速なエッジAI処理を可能にし、必要なデータだけを抽出することで、クラウドサービス利用時におけるデータ転送遅延時間の低減、プライバシーへの配慮、消費電力や通信コストの削減などを実現します。
本製品を採用することにより、AI機能を実装したカメラの開発が可能となり、今後、小売業界や産業機器業界における多様なアプリケーションの実現や、クラウドと協調した最適なシステムの構築に貢献します。

IoTの普及により、あらゆる機器がクラウドに繋がり、機器から取得した情報をクラウド側でAI処理することで、さまざまな情報処理を実現するシステムの活用が一般的になりつつあります。一方、クラウドで扱う情報量の増加に伴い、リアルタイムな情報処理を阻害するデータ転送遅延、個人を特定できるデータをクラウドに保存することに伴うセキュリティ上の懸念、またクラウドサービス利用時の消費電力や通信コストの増加などの課題が生じています。

本製品は、画素チップとロジックチップを重ね合わせた積層構造を用い、ロジックチップにAIによる画像解析処理の機能を搭載した、世界で初めてのイメージセンサーです。画素チップで取得した信号をセンサー内でAI処理を行うことで、高性能なプロセッサや外部メモリーを必要とすることなく、エッジAIシステムを実現することが可能です。さらに、画像情報を出力しないメタデータ（撮像データに属する意味情報）の出力によるデータ量の削減やプライバシーへの配慮に加え、高速なAI処理による対象物のリアルタイムトラッキング、内蔵メモリーの書き換えによるユーザーの使用環境や条件に合わせたAIモデルの選択など、さまざまな機能により多様なアプリケーションを実現します。

主な特長

世界初のAI処理機能を搭載したイメージセンサー

画素チップには、有効約1230万個の裏面照射型画素を配置し、広い視野角で情報を捉えることができます。ロジックチップには、通常のイメージセンサーの信号処理回路に加え、AIに特化した信号処理を担うソニー独自のDSP（Digital Signal Processor）と、AIモデルを書き込むことができるメモリーを搭載しています。これにより、高性能なプロセッサや外部メモリーを必要とすることなく、エッジAIシステムを実現することが可能です。

メタデータの出力が可能

画素チップから取得した信号をロジックチップで処理する過程で、ISP（Image Signal Processor）処理やAI処理を行うことにより、対象物をメタデータで出力し、扱うデータ量が削減できます。また、画像情報を出力しないことで、セキュリティリスクを低減し、プライバシーに配慮した対応が可能となります。通常のイメージセンサーの撮影画像に加え、ISP出力形式の画像（YUV/RGB）や、特定領域のみ切り出したROI（Region of Interest）画像など、ユーザーのニーズや用途に応じて出力データの形式を選択することも可能です。

高速なAI処理を実現

通常のイメージセンサーで動画を撮影する場合、出力された1フレームの画像ごとにAI処理に繋げる必要があることから、データの送信が多くなり、リアルタイム性を確保することが困難でした。本製品は、ロジックチップにおいて、ISP処理および高速なAI処理（MobileNet V1※2の場合、3.1ミリ秒の処理時間）を行うことにより、動画の1フレーム内で全ての処理が完結します。これにより、動画を撮影しながらの対象物の高精度なリアルタイムトラッキングが可能となります。

• ※2モバイル機器向けの物体識別を目的とした画像解析用のAIモデルの名称。

AIモデルの選択が可能

ユーザーは、任意のAIモデルをメモリーに書き込み、使用環境や条件に合わせて書き換え、アップデートすることが可能です。例えば、本製品を採用した複数台のカメラを店舗に設置した場合、1種類のカメラで、設置位置、状況、時間など目的や用途に応じて使い分けることができます。入り口であれば入店者のカウント、棚であれば商品の欠品検知、天井であれば来店者のヒートマップ（人が多く集まる場所の検知）などの複数の用途に活用できます。また、これまでヒートマップの検出に使用していたAIモデルを、消費者行動を把握するために使用するAIモデルなどに書き換えることも可能です。

主な仕様