一個相片「隱身衣」,讓微軟曠視人臉辨認系統(tǒng)100%失靈|開源 |
發(fā)布時間:2020-07-28 文章來源:本站 瀏覽次數(shù):3414 |
左圖,右圖,你能看出區(qū)別嗎?
其實,算法現(xiàn)已悄悄給右邊的相片加上了細小的修正。 但便是這樣肉眼底子看不出來的擾動,就能100%騙過來自微軟、亞馬遜、曠視——全球最先進的人臉辨認模型!
所以含義安在? 這代表著你再也不用憂慮po在網(wǎng)上的相片被某些軟件扒得干干凈凈,打包、分類,幾毛錢一整份賣掉喂AI了。 這便是來自芝加哥大學的最新研討:給相片加上一點肉眼看不出來的修正,就能讓你的臉成功「隱形」。 如此一來,即便你在網(wǎng)絡上的相片被非法抓取,用這些數(shù)據(jù)練習出來的人臉模型,也無法真正成功辨認你的臉。 給相片穿上「隱身衣」 這項研討的目的,是協(xié)助網(wǎng)友們在共享自己的相片的一起,還能有效維護自己的隱私。 因此,「隱身衣」自身也得「隱形」,防止對相片的視覺作用產生影響。 也便是說,這件「隱身衣」,其實是對相片進行像素等級的細小修正,以遮蓋AI的審視。 其實,關于深度神經(jīng)網(wǎng)絡而言,一些帶有特定標簽的細小擾動,就可以改動模型的「認知」。 比如,在圖畫里加上一點噪聲,熊貓就變成了長臂猿:
Fawkes便是使用了這樣的特性。 用 x 指代原始圖片,xT為另一種類型/其他人臉相片,φ 則為人臉辨認模型的特征提取器。
具體而言,F(xiàn)awkes是這樣規(guī)劃的: 第一步:挑選方針類型 T 指定用戶 U,F(xiàn)awkes的輸入為用戶 U 的相片調集,記為 XU。 從一個包括有許多特定分類標簽的揭露人臉數(shù)據(jù)集中,隨機選取 K 個候選方針類型機器圖畫。 使用特征提取器 φ 計算每個類 k=1…K 的特征空間的中心點,記為 Ck。 然后,F(xiàn)awkes會在 K 個候選調集中,選取特征表明中心點與 XU 中所有圖畫的特征表明差異最大的類,作為方針類型 T。 第二步:計算每張圖畫的「隱身衣」 隨機選取一幅 T 中的圖畫,為 x 計算出「隱身衣」δ(x, xT) ,并按照公式進行優(yōu)化。
其間 |δ(x, xT)| < ρ。 研討人員選用DDSIM(Structural Dis-Similarity Index)方法。在此基礎上進行隱身衣的生成,能保證隱死后的圖畫與原圖在視覺作用上高度一致。
實驗結果表明,無論人臉辨認模型被練習得多么刁鉆,F(xiàn)awkes都能提供95%以上有效防護率,保證用戶的臉不被辨認。 即便有一些不小心走漏的未遮擋相片被參加人臉辨認模型的練習集,通過進一步的擴展規(guī)劃,F(xiàn)awkes也可以提供80%以上的防辨認成功率。
在Microsoft Azure Face API、Amazon Rekognition和曠視Face Search API這幾個最先進的人臉辨認服務面前,F(xiàn)awkes的「隱身」作用則達到了100%。
現(xiàn)在,F(xiàn)awkes已開源,Mac、Windows和Linux都可以使用。 裝置簡易便利 這兒以Mac系統(tǒng)為例,簡單介紹一下軟件的使用方法。使用的筆記本是MacBook Air,1.1GHz雙核Intel Core i3的處理器。 首先,咱們從GitHub上下載壓縮裝置包,并進行解壓。
接下來,把想要修正的所有相片放入一個文件夾里,并記住途徑。 以桌面上的一個名為test_person的圖片文件夾為例,里邊咱們放了三張相片,其間一張圖片包括兩個人。 這兒的圖片途徑是~/Desktop/test_person,根據(jù)你的圖片保存位置來確認。
接下來,打開啟動臺中的終端,進入壓縮包地點的文件夾。 注意,假如MacOS是Catalina的話,需要先修正一下權限,以管理員身份運轉,sudo spctl —master-disable就可以了。 這兒咱們的壓縮包直接放在下載的文件夾里,直接cd downloads就行。 進入下載文件夾后,輸入./protection -d 文件途徑(文件途徑是圖片文件夾地點的位置,這兒輸入~/Desktop/test_person),運轉生成圖片的「隱身衣」。 嗯?不錯,看起來竟然能辨認一張圖中的2個人臉。
緩慢地運轉…… 據(jù)作者介紹說,生成一張「隱身衣」的速度平均在40秒左右,速度仍是比較快的。 假如電腦裝備夠好,應該還能再快點。 不過,雙核的就不奢求了…咱們耐心地等一下。
從時間看來,處理速度還算可以接受。 Done!
圖中來看,生成3張圖片的「隱身衣」,電腦用了大約7分鐘(一定是我的電腦太慢了)。 來看看生成的結果。
可以看見,文件夾中的3張圖片,都生成了帶有_low_cloaked的后綴名的圖片。 雖然介紹里說,生成的后綴是_mid_cloaked的圖片,不過軟件提供的形式有「low」、「mid」、「high」、「ultra」、「custom」幾種,所以不同的形式會有不同的后綴名。 以川普為例,來看看實際作用。
兩張圖片幾乎沒有不同,并沒有變丑,川普臉上的皺褶看起來還光滑了一點。 這樣,咱們就能放心地將通過處理后的人臉相片放到網(wǎng)上了。 即便被某些不懷好意的有心之人拿去使用,被盜用的數(shù)據(jù)也并不是咱們的人臉數(shù)據(jù),不用再憂慮隱私被走漏的問題。 不僅如此,這個軟件還能「補救」一下你在交際網(wǎng)站上曬出的各種人臉數(shù)據(jù)。 例如,你曾經(jīng)是一名沖浪達人,之前會將很多的生活照po到交際網(wǎng)站上—— 相片可能現(xiàn)已被軟件扒得干干凈凈了…… 不用憂慮。 假如放上這些通過處理后的圖片,這些主動扒圖的人臉辨認模型會想要增加更多的練習數(shù)據(jù),以進步準確性。 這時候,穿上「隱身衣」圖片在AI看來甚至「作用更好」,就會將原始圖畫作為異常值放棄。 華人一作
論文的一作是華人學生單思雄,高中畢業(yè)于北京十一校園,現(xiàn)在剛拿到了芝加哥大學的學士學位,將于9月份入學攻讀博士學位,師從趙燕斌教授和Heather Zheng教授。 作為芝加哥大學SAND Lab實驗室的一員,他的研討主要側重于機器學習和安全的交互,像如何使用不被察覺的細微數(shù)據(jù)擾動,去維護用戶的隱私。
從單同學的推特來看,他一直致力于在這個「透明」的世界中,為咱們爭奪一點僅存的隱私。
論文的一起一作Emily Wenger同樣來自芝加哥大學SAND Lab實驗室,正在攻讀CS博士,研討方向是機器學習與隱私的交互,現(xiàn)在正在研討神經(jīng)網(wǎng)絡的缺點、局限性和可能對隱私造成的影響。 |
|