資深的歐美影視粉絲，都熟悉 Netflix 在線影片租賃網(wǎng)站，在上面你能看到各種熱點的美劇和片子，《紙牌屋》就是它買下版權(quán)并打造的 IP 之一。

今天 AppSo分享的這篇文章，讓 Jessie Chen 告訴你 Netflix 如何通過呈現(xiàn)不同的片子/電視劇封面圖，知道怎樣的畫面能捉住我們的留意力。

你有想過為什么 Netflix 有這么棒的流媒體觀賞體驗嗎？你想知道每次 Netflix 對主頁的 UI 層進行重新設(shè)計時，A/B 測試施展著怎樣的作用嗎？假如你的回答是 yes，那么這篇文章你不能錯過。

之前在 Yelp 的設(shè)計師與極客大會時，Netflix 的產(chǎn)品設(shè)計師 Anna Blaylock 和 Navin Iyengar 分享自己多年來在數(shù)千萬用戶身上實踐過的 A/B 測試心得，結(jié)合相關(guān)案例的展示，匡助參加者思索自己的產(chǎn)品設(shè)計是否真的公道。

什么是 A/B 測試？

在科學領(lǐng)域中，「假設(shè)」是指你即將要通過研究和實驗去驗證的一個觀點或解釋。在設(shè)計中，理論或猜想同樣可以被當作假設(shè)。假設(shè)的一個最基本特征是「沒有預先確定的實驗結(jié)果」，同時必需是可以被反復驗證的。

A/B 測試的主要概念在于創(chuàng)造一組實驗，其中包括一個對照組和若干個經(jīng)由處理的實驗組（在 Netflix 內(nèi)部實驗組被稱作「cell」）。

在詳細的實驗中，每個被選中介入實驗的用戶都會且僅會被劃進一個「cell」中，其中有一個「默認cell」，它充當對照組的角色，對照組內(nèi)的用戶體驗的產(chǎn)品與未介入實驗的用戶完全一致。

——引自 Netflix 博客

Netflix 實施 A/B 測試的流程

測試開始后，實驗職員會追蹤特定的重要數(shù)據(jù)指標，例如用戶瀏覽視頻流的時間長度或者是保存率等等。

一旦測試用戶表現(xiàn)出具有足夠說服力的行為，實驗職員就會對比各個測試組的效果，并將表現(xiàn)最好的那個小組指定為最優(yōu)小組。

「實驗方法」指的是實驗的詳細操縱步驟，包括 Netflix 在內(nèi)的很多公司都會通過實驗去獲取用戶數(shù)據(jù)。為了盡可能高效率地解決我們感愛好的題目，實施實驗前需要耗費大量的時間和精力去設(shè)計和組織一個公道的實驗方案，以確保盡實驗數(shù)據(jù)在類型和數(shù)目上都是充分且有效的。

每次你登陸 Netflix 的主頁，首頁專題都會發(fā)生變化。這恰是 Netflix 為了引導你觀看他們提供的節(jié)目而進行的復雜實驗中的一部門。

首次登陸時呈現(xiàn)的主頁：

非登陸用戶看到的《紙牌屋》頁面：

第二次登陸時的首頁：

我修改用戶名稱后的首頁：

當我用兒童身份登錄時看到的主頁：

非登陸狀態(tài)下的首頁：

A/B 測試的概念在于給不同用戶小組提供不同的內(nèi)容，收集用戶行為并將分析結(jié)果用于制定未來的內(nèi)容投放策略。Netflix 的工程師 Gopal Krishnan 在博客中寫到：

假如你不能在 90 秒以內(nèi)牢牢捉住用戶的留意力，用戶就很可能會失去愛好而去進行別的操縱。

類似的無效訪問之所以會常常泛起，一方面可能是由于我們沒有為用戶提供他們感愛好的內(nèi)容，另一方面也有可能我們確實提供了用戶想看的內(nèi)容，但沒有充分的證據(jù)去解釋為什么用戶應該看到這些內(nèi)容。

Netflix 曾在 2013 年完成一次實驗，去探索對于統(tǒng)一個標題而言，豐碩封面圖的多樣機能不能帶來觀眾數(shù)目的增長。實驗結(jié)果如下：

圖來譯自Netflix技術(shù)博客

用戶相稱顯著地表現(xiàn)出了對封面圖變化的高敏感度，利用這個特征，可以匡助 Netflix 的用戶在瀏覽選劇時更輕易地找到喜愛的目標劇集。

Netflix 隨后建立了一個封面圖自動分類系統(tǒng)，將共用一張背景圖但具有不同長寬比、裁剪位置、小規(guī)模修整以及標題經(jīng)由局部處理的封面圖分為一組作為比較，并在網(wǎng)站上的不斷重復試驗，以追蹤具有相似特征的封面圖吸引點擊的效果。

下面是一些案例：

兩張標記封面圖效果明顯優(yōu)于其他實驗對象

圖來自 Netflix 技術(shù)博客

最后一張標記封面圖效果明顯優(yōu)于其他實驗對象：

圖來自 Netflix 技術(shù)博客

下面兩篇博客文章先容了更多 Netflix 進行A/B測試的細節(jié)：

我們能從中學習到什么？

A/B 測試是理解用戶行為最可靠的方法。作為設(shè)計師，我們需要通過實驗反思我們的工作。由于我們的直覺并不老是對的。

1. 進行 A/B 測試的時間及理由

當你完成了一項產(chǎn)品設(shè)計，可以使用 A/B 測試對設(shè)計進行調(diào)整，主要關(guān)注兩個樞紐指標：保存和收益。

通過 A/B 測試對產(chǎn)品的各方各面進行優(yōu)化，并對用戶進行長時間的追蹤觀察，你可以發(fā)現(xiàn)所做的改動是否晉升了保存率或收益。假如確實有效，就把改動全量上線。就這樣，A/B 測試可以用來持續(xù)不斷地晉升貿(mào)易指標的表現(xiàn)。

2. 用戶是否按照你想的那樣在使用產(chǎn)品？

根據(jù)我的經(jīng)驗，用戶通常無法按照你設(shè)想的那樣快速完成一個任務(wù)，他們有時候甚至無法發(fā)現(xiàn)你在頁面上設(shè)置了一個顯眼的按鈕。造成這種現(xiàn)象的原因有良多：可能是設(shè)計不夠直觀，可能是按鈕配色不夠顯眼，可能用戶還沒有用慣這一類產(chǎn)品，也有可能是頁面布置了太多按鈕讓用戶難以抉擇等等。

3. 你的直覺是準確的嗎？

令人沮喪的是，當我們研究用戶行為時，直覺的運用往往適得其反，因此 A/B 測試是獨一可以驗證用戶行為的方法，也是可以證實為了獲取最有效果，我們選用當前設(shè)計而非其它的獨一方法。

在實際的工作中，我們的消費者產(chǎn)品團隊在自家房地產(chǎn)網(wǎng)站上通過 A/B 測試證明了上述觀點。舉個例子，他們想弄清晰改變設(shè)計風格，能否晉升點擊谷歌廣告鏈接進入網(wǎng)站的用戶的登錄率。

在把一些不同風格的設(shè)計作為測試樣品進行線上 A/B 測試時，他們發(fā)現(xiàn)消去樓盤照片的設(shè)計效果最好，還發(fā)現(xiàn)同時消去樓盤照片和房屋價格的設(shè)計，可以晉升用戶向客服咨詢問價的概率。

4. 探索邊界

最佳的創(chuàng)意往往脫胎于對大量創(chuàng)意的探索。在實際工作中，我們的產(chǎn)品團隊在不同的項目中交叉協(xié)作。不同的團隊相互碰撞（從設(shè)計師到產(chǎn)品經(jīng)理再到開發(fā)職員），我們共同探索邊界的位置。

一些絕佳的創(chuàng)意，往往是當開發(fā)職員或者產(chǎn)品經(jīng)理，測試完我們提供的產(chǎn)品原型后突發(fā)奇想提出的。

5. 去觀察用戶是怎么做的，而不是怎么說的

當我們與用戶對話時，腦海中要有一個堅定的信念：他們經(jīng)常說一套，做一套。就在本周我主導進行了一些用戶測試會議，其中有一個絕佳的案例可以與你們分享。

為了測試全新的聯(lián)系人列表原型，我與一位用戶進行了交談，當我詢問他是否會常常對聯(lián)系人進行分類治理和篩選時，他表示從來沒有進行過類似的操縱，由于毫無必要。

然而，當他體驗新版的下拉篩選聯(lián)系人菜單時，他對這個可以一次性對多個聯(lián)系人進行分類或篩選的功能大呼贊嘆，并且立刻問我們這個功能什么時候才能上線使用。

6. 利用數(shù)據(jù)評估機會的大小

怎么樣？UI 和 UX 設(shè)計仍是很有趣的對吧？在設(shè)計的過程中，洞察用戶的需求是最有趣的環(huán)節(jié)！設(shè)計不存在終點，但是可以通過迭代的機會去完善你的設(shè)計，為我們的用戶帶來最佳的體驗！

為用戶打磨細節(jié)，衡量設(shè)計間的化學反應，與產(chǎn)品團隊共同解決下一個題目，這就是我的工作，我愛我的工作！