在近日上海舉辦的“2013中華架構(gòu)師大會”上，來自多個互聯(lián)網(wǎng)領(lǐng)域的架構(gòu)師們分享有關(guān)大數(shù)據(jù)架構(gòu)、電商技術(shù)架構(gòu)、網(wǎng)頁游戲架構(gòu)等技術(shù)以及實踐案例，從中，使架構(gòu)師們相互了解到不同產(chǎn)品及需求所需要的架構(gòu)設(shè)計、支撐系統(tǒng)以及大數(shù)據(jù)處理及存儲等方面的干貨。

在當(dāng)天的架構(gòu)分享中，來自唯品會的架構(gòu)師主要介紹了唯品會網(wǎng)站的日志平臺架構(gòu)方面的數(shù)據(jù)收集及海量處理和實時處理，對于電商網(wǎng)站而言，數(shù)據(jù)的收集和處理關(guān)乎著網(wǎng)站是否能更好的挖掘到有用信息以及更好的運用，唯品會的平臺架構(gòu)中主要運用了Flume、Kafka、ElasticSearch、Storm、Zookeeper、Redis、MySQL、Hive這幾種工具，其中Kafka是一個高吞吐量分布式消息系統(tǒng)，kafka的數(shù)據(jù)只會順序append，數(shù)據(jù)的刪除策略是累積到一定程度或者超過一定時間再刪除。Kafka另一個獨特的地方是將消費者信息保存在客戶端而不是MQ服務(wù)器，這樣服務(wù)器就不用記錄消息的投遞過程，每個客戶端都自己知道自己下一次應(yīng)該從什么地方什么位置讀取消息，消息的投遞過程也是采用客戶端主動pull的模型，這樣大大減輕了服務(wù)器的負(fù)擔(dān)。

針對這樣的架構(gòu)設(shè)計，用戶在網(wǎng)頁的瀏覽和體驗方面，也同樣離不開頁面加速架構(gòu)，以帝聯(lián)科技的靜態(tài)頁面加速為例：首先，靜態(tài)頁面包含了圖片、文字、flash動畫等文件，所以對于CDN的節(jié)點架構(gòu)就需要考慮到靜態(tài)頁面的文件屬性。靜態(tài)頁面區(qū)別于其他動態(tài)以及流媒體文件，它的更新頻率相對來說較低，所以利用緩存技術(shù)是優(yōu)質(zhì)的快速加載方法。

帝聯(lián)科技的靜態(tài)頁面加速服務(wù)是針對ICP運營商網(wǎng)站上的html文件、flash動畫以及各種文件類型的圖片而專門設(shè)計的加速產(chǎn)品，它的CDN架構(gòu)屬性是建立在緩存技術(shù)的基礎(chǔ)上，在終端用戶的訪問周邊建立Cache節(jié)點，同時網(wǎng)站上的所有文件可以通過定期和不定期的方式在帝聯(lián)CDN節(jié)點上進(jìn)行更新，定期更新時CDN中心網(wǎng)絡(luò)主動更新源站數(shù)據(jù)，再通過智能解析系統(tǒng)將內(nèi)容進(jìn)行優(yōu)化分發(fā)到帝聯(lián)CDN邊緣節(jié)點，不定期更新可以通過帝聯(lián)CDN客戶服務(wù)系統(tǒng)進(jìn)行主動推送更新完成。這樣便構(gòu)成了靜態(tài)頁面加速的CDN架構(gòu)系統(tǒng)，以此保證終端用戶的高速訪問和網(wǎng)絡(luò)體驗。

除了走在前端的架構(gòu)師需要思考更多的架構(gòu)設(shè)計和數(shù)據(jù)收集處理等方面的知識，作為維護(hù)平臺運轉(zhuǎn)的運維也是其中不可忽視的重要環(huán)節(jié)，架構(gòu)師做運維需要有工匠之心，一定要保證數(shù)據(jù)的準(zhǔn)確性（不要不在乎0.1%的數(shù)據(jù)差異），因為網(wǎng)站的核心內(nèi)容即是數(shù)據(jù)，同時需要更加細(xì)心以及有大局觀。