數(shù)碼相機所用的現(xiàn)代圖像傳感器基于半導體（固態(tài)）技術(shù)，并于二十世紀七十年代初問世。主要分為兩種類型：電荷耦合器件（charge-coupled devices）和主動式像素傳感器（active-pixel sensors）。它們可以“忠實地”從環(huán)境中捕獲視覺信息，但會生成大量冗余數(shù)據(jù)。通常的方式是將大量光學信息轉(zhuǎn)換為數(shù)電格式，然后傳遞到計算單元進行圖像處理。
在傳感器和處理單元之間大量數(shù)據(jù)移動會引起延遲和高功耗等問題。隨著成像速度和像素數(shù)量的增加，帶寬帶來的限制使得難以將所有內(nèi)容快速返回到中央計算機或基于云的計算機并進行實時處理和決策，這對一些對延遲非常敏感的應用如無人駕駛汽車、機器人或工業(yè)制造等尤為重要。
一種更好的解決方案是將一些計算任務轉(zhuǎn)移到計算機系統(tǒng)外部邊緣傳感設(shè)備，從而減少不必要的數(shù)據(jù)移動。由于傳感器的輸出通常是模擬信號（連續(xù)變化），模擬處理勝于數(shù)字處理：眾所周知，模數(shù)轉(zhuǎn)換既耗時又耗能。
為了模擬大腦對信息的有效處理，生物神經(jīng)形態(tài)
圖1：在視覺傳感器內(nèi)進行計算，實現(xiàn)智能高效的預處理。（a）傳統(tǒng)人工智能（AI）視覺傳感器從光敏傳感器收集信號，利用模數(shù)轉(zhuǎn)換器（ADC）將模擬信號轉(zhuǎn)換為數(shù)字信號，放大后輸入到外部人工神經(jīng)網(wǎng)絡(luò)（ANN）——連接可以進行調(diào)整的互連計算單元（圖中用圓形表示）層，經(jīng)過訓練后，此網(wǎng)絡(luò)可以執(zhí)行諸如圖像分類之類的任務。ANN輸入層接收的信號是編碼后的簡單物理元素（圖中用點和線表示）；在后續(xù)層中，這些已優(yōu)化為中級特征（圖中用簡單形狀表示）；在輸出層上形成精細圖像（圖中用3D形狀表示）。整體響應可能是又慢又耗能。（b）Mennel等研究人員設(shè)計的系統(tǒng)中，芯片上的互連傳感器（圖中用正方形表示）不僅可以收集信號，還可以作為ANN來識別簡單功能，從而減少了傳感器和外部電路的冗余數(shù)據(jù)移動。
Mennel等研究人員直接在圖像傳感器加入了人工神經(jīng)網(wǎng)絡(luò)。他們在芯片上構(gòu)建了光電二極管網(wǎng)絡(luò)，這些光電二極管是對光敏感的微型單元，每個單元中有幾層二硒化鎢（WSe2）原子層。通過調(diào)節(jié)施加在二極管上的電壓，半導體器件對光的響應程度發(fā)生變化，從而實現(xiàn)對每個二極管靈敏度的分別調(diào)節(jié)。實際上，這將光電傳感器網(wǎng)絡(luò)變成了神經(jīng)網(wǎng)絡(luò)（見圖1b），能夠執(zhí)行簡單的計算任務。改變光電二極管的光響應能力則改變網(wǎng)絡(luò)的連接強度（突觸權(quán)重）。因此，該器件實現(xiàn)了光學傳感與神經(jīng)形態(tài)計算的結(jié)合。
作者將光電二極管排列成九個像素的正方形陣列，每個像素有三個二極管。當圖像投影到芯片上時，會產(chǎn)生不同的二極管電流，再進行組合和讀取。硬件陣列提供了一種模擬計算形式：每個光電二極管都會產(chǎn)生與入射光強度成比例的輸出電流，并且根據(jù)基爾霍夫定律（電路電流所遵循的基本規(guī)律）將沿行或列的電流值求和。
圖2：光電二極管排列成九
接著對陣列進行執(zhí)行任務的訓練。芯片陣列產(chǎn)生的電流與預測電流（對于給定任務，陣列正確響應圖像應產(chǎn)生的電流）的差異，并用于調(diào)整下一次訓練周期的突觸權(quán)重。這個學習階段會占用時間和計算資源，但是一旦經(jīng)過訓練，該芯片將迅速執(zhí)行其任務。
神經(jīng)網(wǎng)絡(luò)可以采用不同算法，作者在文中演示了兩種神經(jīng)
圖3：27個光電探測器的光響應值，其中訓練數(shù)據(jù)σ = 0.3。（a，b）：其中（a）為初始時期（epoch）的響應度值，（b）時期為30時的響應度值，訓練數(shù)據(jù)σ = 0.2和σ= 0.4的權(quán)重相似。c：在特定的投影字母和三種噪聲水平下，所有時期測得的電流。d：三種不同噪聲水平的初始和最終響應度值的直方圖。
第二個功能是自動編碼：即使在存在信號噪聲的情況下，傳感器計算陣列也可以通過學習圖像的關(guān)鍵特征來生成處理后圖像的簡化表示。編碼版本僅包含最基本的信息，但可以解碼以重建與原始圖像最相似的圖像。
這項有前途的技術(shù)在投入實際應用之前，還有許多工作要做。用于自動駕駛車輛和機器人技術(shù)的神經(jīng)形態(tài)視覺系統(tǒng)需要捕獲視場角較大的3D動態(tài)圖像和視頻。當前使用的圖像捕獲技術(shù)通常將3D真實世界轉(zhuǎn)換為2D信息，這樣就丟失了運動信息和深度信息?，F(xiàn)有的平面圖像傳感器陣列也限制了廣角相機的發(fā)展。
作者描述的器件很難在昏暗的光線下成像。需要重新設(shè)計以改善薄半導體的光吸收并增加探測光強范圍。此外，論文中提到的這種設(shè)計需要高電壓并消耗大量功耗。相比之下，生物神經(jīng)網(wǎng)絡(luò)中每項操作的能量消耗處于亞飛焦耳級（10?1?至10?13焦耳）。這有利于擴展到紫外線和紅外光應用，以捕獲可見光譜無法提供的信息。
所使用的薄半導體很難實現(xiàn)大面積
Mennel及其同事的“在傳感器中實現(xiàn)計算”系統(tǒng)會激發(fā)對人工智能（AI）硬件的進一步研究。一些企業(yè)已經(jīng)開發(fā)了基于硅電子的AI視覺芯片，但是這些芯片的固有數(shù)字架構(gòu)無法解決延遲和功率效率問題。
更廣泛地講，作者的策略不僅限于視覺系統(tǒng)。它可以擴展到用于聽覺、觸覺、熱感或嗅覺的其它物理參數(shù)輸入。此類智能系統(tǒng)的開發(fā)以及5G無線網(wǎng)絡(luò)的到來，會在將來允許進行實時邊緣（低延遲）計算。