美团机器学习实践 下载 pdf 电子版 epub 免费 txt 2025

人工智能技术正以一种超快的速度深刻地改变着我们的生活，引导了第四次工业革命。美团作为国内O2O领域领 先的服务平台，结合自身的业务场景和数据，积极进行了人工智能领域的应用探索。在美团的搜索、推荐、计算广告、风控、图像处理等领域，相关的人工智能技术得到广泛的应用。本书包括通用流程、数据挖掘、搜索和推荐、计算广告、深度学习以及算法工程6大部分内容，全面介绍了美团在多个重要方面对机器学习的应用。

本书非常适合有一定机器学习基础的工程技术人员和在校大学生学习和阅读。通过本书，有经验的算法工程师可以了解美团在这方面的做法，在校大学生可以学习机器学习算法如何在具体的业务场景中落地。

第一部分 通用流程

第　1章 问题建模　2

1.1　评估指标　3

1.1.1　分类指标　4

1.1.2　回归指标　7

1.1.3　排序指标　9

1.2　样本选择　10

1.2.1　数据去噪　11

1.2.2　采样　12

1.2.3　原型选择和训练集选择　13

1.3　交叉验证　14

1.3.1　留出法　14

1.3.2　K折交叉验证　15

1.3.3　自助法　16

参考文献　17

第　2章 特征工程　18

2.1　特征提取　18

2.1.1　探索性数据分析　19

2.1.2　数值特征　20

2.1.3　类别特征　22

2.1.4　时间特征　24

2.1.5　空间特征　25

2.1.6　文本特征　25

2.2　特征选择　27

2.2.1　过滤方法　28

2.2.2　封装方法　31

2.2.3　嵌入方法　31

2.2.4　小结　32

2.2.5　工具介绍　33

参考文献　33

第3章　常用模型　35

3.1　逻辑回归　35

3.1.1　逻辑回归原理　35

3.1.2　逻辑回归应用　38

3.2　场感知因子分解机　39

3.2.1　因子分解机原理　39

3.2.2　场感知因子分解机原理　40

3.2.3　场感知因子分解机的应用　41

3.3　梯度提升树　42

3.3.1　梯度提升树原理　42

3.3.2　梯度提升树的应用　44

参考文献　44

第4章　模型融合　45

4.1　理论分析　46

4.1.1　融合收益　46

4.1.2　模型误差 分歧分解　46

4.1.3　模型多样性度量　48

4.1.4　多样性增强　49

4.2　融合方法　50

4.2.1　平均法　50

4.2.2　投票法　52

4.2.3　Bagging　54

4.2.4　Stacking　55

4.2.5　小结　56

参考文献　57

第二部分　数据挖掘

第5章　用户画像　60

5.1　什么是用户画像　60

5.2　用户画像数据挖掘　63

5.2.1　画像数据挖掘整体架构　63

5.2.2　用户标识　65

5.2.3　特征数据　67

5.2.4　样本数据　68

5.2.5　标签建模　69

5.3　用户画像应用　83

5.3.1　用户画像实时查询系统　83

5.3.2　人群画像分析系统　87

5.3.3　其他系统　90

5.3.4　线上应用效果　91

5.4　小结　91

参考文献　91

第6章　POI实体链接　92

6.1　问题的背景与难点　92

6.2　国内酒店POI实体链接解决方案　94

6.2.1　酒店POI实体链接　94

6.2.2　数据清洗　96

6.2.3　特征生成　97

6.2.4　模型选择与效果评估　100

6.2.5　索引粒度的配置　101

6.3　其他场景的策略调整　101

6.4　小结　103

第7章　评论挖掘　104

7.1　评论挖掘的背景　104

7.1.1　评论挖掘的粒度　105

7.1.2　评论挖掘的维度　105

7.1.3　评论挖掘的整合思考　106

7.2　评论标签提取　106

7.2.1　数据的获取及预处理　107

7.2.2　无监督的标签提取方法　109

7.2.3　基于深度学习的标签提取方法　111

7.3　标签情感分析　113

7.3.1　评论标签情感分析的特殊性　113

7.3.2　基于深度学习的情感分析方法　115

7.3.3　评论标签情感分析的后续优 化与思考　118

7.4　评论挖掘的未来应用及实践　119

7.5　小结　119

参考文献　119

第三部分　搜索和推荐

第8章　O2O场景下的查询理解与 用户引导　122

8.1　现代搜索引擎原理　123

8.2　精确理解查询　124

8.2.1　用户查询意图的定义与识别　125

8.2.2　查询实体识别与结构化　129

8.2.3　召回策略的变迁　130

8.2.4　查询改写　131

8.2.5　词权重与相关性计算　134

8.2.6　类目相关性与人工标注　135

8.2.7　查询理解小结　136

8.3　引导用户完成搜索　137

8.3.1　用户引导的产品定义与衡量 标准　137

8.3.2　搜索前的引导——查询词 推荐　140

8.3.3　搜索中的引导——查询补全　143

8.3.4　搜索后的引导——相关搜索　145

8.3.5　效率提升与效果提升　145

8.3.6　用户引导小结　149

8.4　小结　149

参考文献　150

第9章　O2O场景下排序的特点　152

9.1　系统概述　154

9.2　在线排序服务　154

9.3　多层正交A/B测试　155

9.4　特征获取　155

9.5　离线调研系统　156

9.6　特征工程　156

9.7　排序模型　157

9.8　场景化排序　160

9.9　小结　165

第　10章 推荐在O2O场景的应用　166

10.1　典型的O2O推荐场景　166

10.2　O2O推荐场景特点　167

10.2.1　O2O场景的地理位置因素　168

10.2.2　O2O场景的用户历史行为　168

10.2.3　O2O场景的实时推荐　169

10.3　美团推荐实践——推荐框架　169

10.4　美团推荐实践——推荐召回　170

10.4.1　基于协同过滤的召回　171

10.4.2　基于位置的召回　171

10.4.3　基于搜索查询的召回　172

10.4.4　基于图的召回　172

10.4.5　基于实时用户行为的召回　172

10.4.6　替补策略　172

10.5　美团推荐实践——推荐排序　173

10.5.1　排序特征　173

10.5.2　排序样本　174

10.5.3　排序模型　175

10.6　推荐评价指标　176

参考文献　176

第四部分　计算广告

第　11章 O2O场景下的广告营销　178

11.1　O2O场景下的广告业务特点　178

11.2　商户、用户和平台三者利益平衡　180

11.2.1　商户效果感知　180

11.2.2　用户体验　181

11.2.3　平台收益　182

11.3　O2O广告机制设计　183

11.3.1　广告位设定　183

11.3.2　广告召回机制　183

11.3.3　广告排序机制　184

11.4　O2O推送广告　187

11.5　O2O广告系统工具　190

11.5.1　面向开发人员的系统工具　190

11.5.2　面向广告主和运营人员的 工具　192

11.6　小结　194

参考文献　194

第　12章 用户偏好和损失建模　196

12.1　如何定义用户偏好　196

12.1.1　什么是用户偏好　196

12.1.2　如何衡量用户偏好　196

12.1.3　对不同POI 的偏好　197

12.1.4　用户对 POI 偏好的衡量　197

12.2　广告价值与偏好损失的兑换　198

12.2.1　优化目标　199

12.2.2　模型建模　199

12.3　Pairwise 模型学习　201

12.3.1　GBRank　202

12.3.2　RankNet　204

参考文献　205

第五部分　深度学习

第　13章 深度学习概述　208

13.1　深度学习技术发展历程　209

13.2　深度学习基础结构　211

13.3　深度学习研究热点　216

13.3.1　基于深度学习的生成式模型　216

13.3.2　深度强化学习　218

参考文献　219

第　14章 深度学习在文本领域的应用　220

14.1　基于深度学习的文本匹配　221

14.2　基于深度学习的排序模型　231

14.2.1　排序模型简介　231

14.2.2　深度学习排序模型的演进　232

14.2.3　美团的深度学习排序模型 尝试　235

14.3　小结　237

参考文献　237

第　15章 深度学习在计算机视觉中的 应用　238

15.1　基于深度学习的OCR　238

15.1.1　OCR技术发展历程　239

15.1.2　基于深度学习的文字检测　244

15.1.3　基于序列学习的文字识别　248

15.1.4　小结　251

15.2　基于深度学习的图像智能审核　251

15.2.1　基于深度学习的水印检测　252

15.2.2　明星脸识别　254

15.2.3　色情图片检测　257

15.2.4　场景分类　257

15.3　基于深度学习的图像质量排序　259

15.3.1　图像美学质量评价　260

15.3.2　面向点击预测的图像质量 评价　260

15.4　小结　263

参考文献　264

第六部分　算法工程

第　16章 大规模机器学习　268

16.1　并行计算编程技术　268

16.1.1　向量化　269

16.1.2　多核并行OpenMP　270

16.1.3　GPU编程　272

16.1.4　多机并行MPI　273

16.1.5　并行编程技术小结　276

16.2　并行计算模型　276

16.2.1　BSP　277

16.2.2　SSP　279

16.2.3　ASP　280

16.2.4　参数服务器　281

16.3　并行计算案例　284

16.3.1　XGBoost并行库Rabit　284

16.3.2　MXNet并行库PS-Lite　286

16.4　美团并行计算机器学习平台　287

参考文献　289

第　17章 特征工程和实验平台　290

17.1　特征平台　290

17.1.1　特征生产　290

17.1.2　特征上线　293

17.1.3　在线特征监控　301

17.2　实验管理平台　302

17.2.1　实验平台概述　302

17.2.2　美团实验平台——Gemini　304

美团算法团队由数百名优秀算法工程师组成，负责构建美团这个生活服务互联网大平台的“大脑”，涵盖搜索、推荐、广告、风控、机器学习、计算机视觉、语音、自然语言处理、智能调度、机器人和无人配送等多个技术方向，在帮助美团数亿活跃用户改善用户体验的同时，也帮助餐饮、酒店、婚庆、丽人、亲子等200多个行业的数百万商户提升运营效率。我们致力于通过算法和人工智能技术，帮大家吃得更好，活得更好。

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：美团机器学习实践在线阅读

在线听书地址：美团机器学习实践在线收听

在线购买地址：美团机器学习实践在线购买

用户画像：人口属性、兴趣偏好、特征人群、用户分级、LBS、业务标签、用户行为

搜索：query→分词→倒排索引→文档集合

查询理解：

1.意图识别。分类、聚类、主题建模。具体场景具体分析，美团先识别所属业务(分类)、再识别具体成分(实体识别)。无法确认的意图就都召回给用户去选择。

2.实体识别。IOB2格式、识别地址、机构等。

3.召回。query的不同成分对应到不同索引域

4.查询改写。替换(同义词、缩写词，人工审核)，删除、扩展、对齐。整串改写：Session挖掘、二部图挖掘。LDA。

5.词权重计算。TF-IDF、规则打分、基于统计学习。用户点击共现做样本训练词权模型。去词：无结果的相关推荐、触发二次查询(伴有提示，增加用户接受度)。

6.相关性。品类名称做召回、query的品类偏好融入排序公式、query品类偏好过滤

搜索引导：

评价指标：搜索引导流量占比、点击率、转化率

1.搜索前引导。查询次推荐：默认词、热词

2.搜索中引导。查询补全。Trie树、Hash Table、倒排索引。考虑输入法遮挡问题。

3.搜索后引导。相关搜索、泛词引导。

关注用户、取经同行、换位思考、大胆假设。

比较有意思的是：场景化排序。

排序主要用MAP，AUC不太能反应排序的好坏。

O2O地理位置所以：KD-Tree、GeoHash、热门商圈、城市

多路召回：位置、搜索、图、实时行为、热门。

多路召回合并：分级+调比例

评价指标：信息维度、交易维度、体验维度

O2O场景：

1. 移动化。位置精确、及时推送、互动多样。

2. 本地化。90%以上的交易中用户商户距离小于3km。

3. 场景化。场景更加具体，移动设备与单个用户绑定、时空都很明确。

4. 多样性。商户服务的多样性。

三方利益平衡：

1. 商户。ROI=广告收益/广告投入

2. 用户。短期指标：ctr、cvr，长期指标：回访率、复购率。不出广告的小流量桶用于观察广告对用户体验长期的影响。

3. 平台。流量变现效率：RPM、RPS。广告收入=曝光次数*ctr*cpc=广告主数*ARPU。约束是商户利益、用户体验：商户数、预算、流量。

广告机制：

1.广告位设定。确定多种方案，然后通过AB测试决定。

2.召回。有效分析、同义和近义改写、查询改写（DSSM、序列模型）。多级召回控制相关性，Query匹配由精确到模糊，距离由近及远。

3.排序。rankscore=bid*ctr，charge= CTRi+1 * BIDi+1 / CTRi。模型用了LR、FFM、W&D，没什么特殊的。工程上用PS实现模型并行和数据并行。

推送广告：

1.重定向。效率高、覆盖面小。

2.时间、位置、人口、行为定向。覆盖面大，效率低。

3.新客腿甲。look-alike

用DNF做定向条件匹配：考虑质、量。

广告工具

1. 开发者工具。实时消耗数据分析、广告debugger

2. 商户工具。漏斗分析、推广实况、流失订单分析、收益模拟。

用户偏好和损失建模

1. UE=ctr+α*ctr*cvr

2.优化方法。帕累托最优，其他指标不降的情况下提升某个指标。

3. 模型。pointwise，就是要定义好曝光、点击、下单的价值。pairwise，定义好各行为的价值顺序，模型有rankboost、ranknet、gbrank、raking svm、IRSVM、lambdaRank、lambdaMAR...

深度学习∈表示学习∈机器学习∈AI

1. 第一阶段1943-1986

a.1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts提出人工神经元模型MCP=加权求和+二值激活函数

b.1957年，Rosenblatt发明Perceptron=MCP+梯度下降

c.1969年，Minsky证明Perceptron是线性模型

2. 第二阶段1986-2006

a.1986年，Hinton发明MLP和BP算法

b.1990年，SVM火起来了，MLP和BP的梯度消失等问题没有解决

3. 第三阶段2006至今

a.2006年，Hinton提出DMB，解决了梯度消失问题

b.2012年，imageNet上的冠军模型AlexNet通过引如多层卷积网络、Dropout、Relu，top5错误率降低9.4pp

相关模型：DNN、CNN、RNN、GAN、RL

文本分析：词、句子、篇章、系统级

1.向量空间：1970年，TF-IDF

2.矩阵分解：1990年，LSA

3.主题模型：2000年，pLSA、LDA

4.深度学习：2013年，Word2Vec(Cbow、Skip-Gram)、DSSM

图像识别：

1.ORC。

a. 图像预处理

b. 文字行提取。Faster R-CNN、BLSTM

c. 文字行识别。

2.图像审核。

a.水印监测

b.明星脸识别,deepFace、Triplet Loss、Center Loss

c.色情图片识别

d.图像质量打分。

书籍介绍

人工智能技术正以一种超快的速度深刻地改变着我们的生活，引导了第四次工业革命。美团作为国内O2O领域领 先的服务平台，结合自身的业务场景和数据，积极进行了人工智能领域的应用探索。在美团的搜索、推荐、计算广告、风控、图像处理等领域，相关的人工智能技术得到广泛的应用。本书包括通用流程、数据挖掘、搜索和推荐、计算广告、深度学习以及算法工程6大部分内容，全面介绍了美团在多个重要方面对机器学习的应用。

本书非常适合有一定机器学习基础的工程技术人员和在校大学生学习和阅读。通过本书，有经验的算法工程师可以了解美团在这方面的做法，在校大学生可以学习机器学习算法如何在具体的业务场景中落地。

• 作者：vinceguo 发布时间：2019-12-09 10:57:56

  随便翻翻。自己实操太少，共鸣不多

• 作者：豆友4104547 发布时间：2018-09-01 11:38:37

  浮光掠影，对大公司机器学习技术平台系统感兴趣的可以翻一翻，不具有实操性~

• 作者：金羚 发布时间：2020-06-14 16:23:53

  能不能整点实际能落地的例子出来

• 作者：看世界 发布时间：2019-02-27 21:30:21

  机器学习算法只是其中一个模块，需要各个系统配合合作才能完成服务，包括用Spark/Hadoop处理数据，获取数据，特征清洗选择，样本选择，模型训练，上线应用，特征的离线计算和在线计算，特征的上载和模型的迭代优化等。书的内容只能给两分啊，但是美团也是个大公司。

• 作者：RICHAR 发布时间：2019-01-08 23:30:00

  大厂出的技术书籍主要还是管窥一下他们的玩法，干货甚少。这本书让我看到美团机器学习没有做太多落地可能性小的DL，实用为主。

• 作者：朴儿 发布时间：2021-08-22 21:23:13

  传递的理念非常健康。书虽然薄，但对女孩的自信、自立、自强和防范性侵、不恐艾等问题都有谈及。小林是临床医学背景，又经中山大学孙逸仙纪念医院张清学教授和广东省卫生健康宣传教育中心审订，内容靠谱。

• 读后感

  作者：柱哥和燕妹 发布时间：2020-10-07 11:41:00

  美团这种做本地化服务，通过连接商家和用户，结合时间、地理位置、用户活动轨迹，历史行为为用户进行个性化推荐，在机器学习应用中是非常好的场景。

  书中比较全面的描述了对其业务上的问题和技术解决方案，例如PIO的识别问题、用户查询意图识别、个性化推荐、排序等，涉及的技术有信息检索、特征服务中心，用户画像与标签建模系统，标签系统等。

  感觉书中只是大概讲了下思路，具体实现还是要看个人。

• 读后感

  作者：梁德澎 发布时间：2019-10-07 20:16:05

  机器学习的应用在推荐领域一早就开始应用了，不只是是从深度学习火了才开始的，传统方法着重于特征工程，特征弄得好，可以说就成功了一半，而深度学习出来之后，数据的地位反而提升了，因为深度学习能把特征工程融合进算法端到端的训练，当然如果能与以前特征工程结合在一起，那么效果肯定能更好。

  看完这本书，感觉眼界又开阔了不少，大概了解了机器学习在移动端推荐中是如何应用的，以及大公司是如何在实际中应用的这些算法的。

  还有感觉美团的算法部门是一个很乐于分享的部门，不管是公众号，网站，出书，虽然感觉这本书还有有点圈钱的味道，不过总体来说书的质量还不错，读完也算是有收获。