推薦系統(tǒng)

本電商推薦系統(tǒng)項(xiàng)目，依托于真實(shí)的中文亞馬遜電商數(shù)據(jù)集，以及真實(shí)的電商企業(yè)業(yè)務(wù)數(shù)據(jù)體系，構(gòu)建了符合教學(xué)體系的一體化電商推薦系統(tǒng)。本項(xiàng)目包含離線推薦與實(shí)時(shí)推薦兩大部分，綜合利用了協(xié)同過濾算法以及基于內(nèi)容的推薦方法來提供混合推薦。

提供了從前端應(yīng)用、后臺(tái)服務(wù)構(gòu)建、算法設(shè)計(jì)實(shí)現(xiàn)、平臺(tái)部署等多方位的閉環(huán)的業(yè)務(wù)實(shí)現(xiàn)。本項(xiàng)目從電商項(xiàng)目體系入手，從基礎(chǔ)的推薦算法講起，引導(dǎo)學(xué)員一步步走進(jìn)推薦算法的深處，充分理解推薦系統(tǒng)的運(yùn)作流程，拓寬技術(shù)視野。

學(xué)習(xí)收獲

系統(tǒng)性梳理整合大數(shù)據(jù)技術(shù)知識(shí)與機(jī)器學(xué)習(xí)相關(guān)知識(shí)

深入了解推薦系統(tǒng)在電商企業(yè)中的實(shí)際應(yīng)用

深入學(xué)習(xí)并掌握多種推薦算法

基于統(tǒng)計(jì)的離線推薦基于隱語(yǔ)義模型的離線推薦基于自定義模型的實(shí)時(shí)推薦基于Item-CF的離線相似推薦

技術(shù)點(diǎn)

使用Flume、Kafka搭建實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)，對(duì)多樣化的用戶行為數(shù)據(jù)和大體量的業(yè)務(wù)數(shù)據(jù)進(jìn)行采集清洗和系統(tǒng)調(diào)優(yōu)；
使用ALS算法對(duì)評(píng)分矩陣做矩陣分解，根據(jù)商品的隱語(yǔ)義特征計(jì)算商品之間的相似度，并將相似度做倒排索引，并將倒排數(shù)據(jù)持久化到MongoDB；
實(shí)時(shí)推薦：利用商品的相似度倒排，根據(jù)用戶商品評(píng)分或者點(diǎn)擊行為來做推薦，使用Spark Streaming來實(shí)時(shí)計(jì)算推薦優(yōu)先級(jí)，然后存儲(chǔ)到Redis中，提高用戶的訪問體驗(yàn)；
利用商品的標(biāo)簽數(shù)據(jù)，使用TF/IDF來計(jì)算商品之間的相似度，同樣使用倒排的思路持久化道MongoDB；
使用Spark計(jì)算每個(gè)門類的平均評(píng)分商品來解決冷啟動(dòng)問題；

使用Spark將日志數(shù)據(jù)做分析和處理，然后持久化到MongoDB、ES等數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)data loader功能；
通過A/B測(cè)試來評(píng)估推薦結(jié)果；
優(yōu)化Spark的計(jì)算效率，比如將一些數(shù)據(jù)進(jìn)行.cache()操作緩存，對(duì)某些數(shù)據(jù)做broadcast廣播到其他節(jié)點(diǎn)，加快運(yùn)算；
使用Git進(jìn)行版本管理，遠(yuǎn)程代碼倉(cāng)庫(kù)使用自己搭建的gitlab；
將推薦系統(tǒng)引擎模塊化：als矩陣分解的相似度計(jì)算、基于tfidf的相似度計(jì)算、實(shí)時(shí)推薦模塊，每一個(gè)引擎都會(huì)產(chǎn)生一個(gè)推薦列表，對(duì)不同的引擎賦予不同的權(quán)重，然后合并列表，產(chǎn)生推薦數(shù)據(jù)。