美团点评王栋：AI 赋能餐饮行业，如何全局协同优化，打造“外卖大脑”？

本篇文章9671字，读完约24分钟

雷(公开号:雷)出版社:9月7日，首届人工智能计算大会在京召开。会议由中国工程院信息与电子工程系主办，Inspur集团承办。除了邀请国内外数十位知名专家就人工智能计算创新发表主旨演讲外，还设立了人工智能+计算创新、人工智能+互联网、人工智能+产业创新和人工智能+hpc集成子论坛，来自百度、微软、阿里、腾讯、英特尔等行业的人士就人工智能及其在人工智能领域的应用进展发表了看法。

在ai+互联网论坛上，美团点评高级技术总监王栋以嘉宾身份做了“人工智能在餐饮行业的应用场景”的演讲，详细阐述了ai在餐饮行业的潜在应用以及美团的一些具体技术解决方案。此外，在接受媒体采访时，王栋回答了美国代表团的数据和商业情况。

王栋对人工智能在餐饮行业的应用场景及未来展望的主要观点如下:

嗅觉和味觉的味觉识别是一个非常有潜力的方向；

人工智能在交通转换优化、配送调度机制和用户营销过程中的应用取得了显著成效；

有必要进行全球优化，并创造一个外卖大脑:交易流程分配+分销绩效+智能营销；

自动配送可能比自动驾驶更早实现:场景可控，闭环反馈；

人工智能是一种使能技术:给餐饮业带来更好的规模效应；客户+商家+平台。

以下是王栋演讲的记录。雷锋。com做了一个不会改变他意愿的编辑:

我评论了美团外卖的算法和数据。今天的话题不是很大，但是大家都会觉得这件事情有点突兀，所以我们可以慢慢介绍。

让我们来看看对人工智能的理解。事实上，人工智能主要基于深度学习，但包括规则和支持向量机在内的浅层网络出现较早。这是因为我们用不同的表达式来解决同一个问题。事实上，按照康德的说法，这个问题应该分为三个部分:第一部分是什么样的问题，第二部分是你如何表达这个问题，第三部分是问题的真正解决方案。

例如，我们使用一个非常简单的例子。我们可能知道每个人都使用阿拉伯数字，但事实上，在历史上，罗马数字经常使用更长的时间。在历史上，罗马数字使用的时间更长。如果用罗马数字做非常大的乘法是不可想象的，不同的表示对应不同解的难度。今天，我们看到许多应用人工智能的场景，包括阿法尔狗(Afar Dog)和卡夫食品(caffee)，它们都是相对尖端的方法，都在深度学习的框架内。但这仍然只是人工智能的一个可能的解决方案。

那我们来看看人工智能的问题。解决方案可能有几个步骤。首先，必须有一个清晰的场景。场景本身可以清晰地定义，没有歧义；其次，必须有足够的数据。在通常的情况下，人工智能深度学习必须有大量的数据；第三，必须有足够好的人来使用数据；最后，我们在应用场景中对我们的目标和实际结果给出持续的反馈。只有这样，我们才能更好地理解解决方案与实际应用场景不匹配的地方，以及如何改进它。这是对人工智能的简单理解。

人工智能应用场景

就餐饮业而言，每个人都可能认为汽车是一个非常时尚的行业，具有颠覆性的机会。我们可以看到，汽车行业是4000亿元，餐饮业是3500亿元，有类似的数据。美国的消费是5000亿美元。

现在中国正朝着消费升级的方向发展，消费升级也有很大的潜力。滴滴共享旅行，包括像共享自行车这样的非凡产业，比前两者要复杂一些。

餐饮业首先涉及用户在平台上下单，选择吃哪一道最喜欢的菜，然后下单，并通知商家接受订单，商家将会这样做，外出就餐，并通过骑手将食物给用户。因此，这一块是一个非常长的时间要求。我们不希望自己的饭在一个小时内送到，但我们都希望能在半个小时甚至更短的时间内送到。然而，调度员的能量是有限的，并且用户点的饭菜通常离他们自己一公里远，这意味着如果我们有一个三公里远的调度员，解决这个问题是没有帮助的。需求如此之高，资源如此之少，而且是刚性资源，所以这种优化非常困难。

服务链相对较长，尤其是在恶劣天气下，这将是一件可怕的事情，这导致服务行业要求及时交货。无论天猫是第二天到达，JD.com都可以在同一天或6个小时内完成，甚至一些小的闪存初创公司也没有解决如此大规模的及时交付的优化问题。

对于分销，我们在这一点上确实有所改进。我们可以进行区域划分，每个经销商都有一个相对熟悉的区域，在那里他会做相关的分销。美团有30万名乘客，每天运送1000万张票。

我们看到世界上实际上有相当多的外卖公司。中国刚刚经历了一场三比二的比赛。如果你饿了，你会和百度合并外卖。这个行业只有两家公司，远远大于其他竞争对手。它比其他国家的任何其他市场都大。这个原因实际上在商业上是可以理解的。我们大多数人都在城市，城市的密度非常高。同时，中餐的复杂性不像西餐，不像吃比萨饼或吃面食。只有三种选择。我们的菜有很多选择。通过电话订餐是一件复杂的事情。与此同时，商家的租赁成本也在上升，外卖是这种模式下商家的一个很好的补充。

Ai技术解决方案

在一个简单的场景介绍之后，让我们来看看我们的人工智能应该如何应用于餐饮业。这件作品可以从两个维度来看:垂直和水平。纵向维度实际上遵循传统的计算规模、计算资源划分、最基本的底层基础设施、数据和计算能力，而上层是算法、各种算法框架，包括技术方向和应用场景。

横向来说，会有一般的感性分析，像视觉和听觉，包括理解和思考，如何做决定，如何做一些储存，如何提炼这些数据得到一个答案，并使用这个答案。最后，互动，如何做市场连续阅读，是现在很少有人为餐饮业做的事情。事实上，它还在于如何进行位置建模以及如何建立视觉和嗅觉的相关建模。也有一些小型创业公司在寻找这个机会，他们更倾向于在智能匹配和规划决策的过程中思考。事实上，《美团评论》正在这么做。

更具体地说，例如感知，这仍然是目前的一个研究方向。无论是生产原料还是加工原料，让我们把这道菜作为主食，或者提高设备制造商的技术，这都可以被人工智能颠覆。

在食品生产工厂，有一些设备具有相对较高的经济价值，如生菜，可以在工厂大规模生产。现在温室里的效率比我们的高，但是成本还是高。有些人合成牛肉，中间的那个实际上是一个非常有趣的东西。大约两三年前，ibm说它已经做出了一个有创意的食谱，可以通过互联网自己输入许多食谱来产生烹饪方法。

与本地创新的面条机器人或拉面机器人相比，这些机器人现在已经相当成熟，包括麻辣锅机器人，可以快速降低成本，提高企业效率。在右边，我们做的相对较差，比如标准化的口味。对一个人来说，这种辛辣的味道可能是50%的辛辣，而对另一个人来说，可能是70%的辛辣。这里应该有一个标准。包括每一种食物，如何做出川味，以及北京改善后的情况是什么，都没有人做过这件事。如果这件事是以一种标准的方式来做的，这意味着对于每个人来说，他可以知道是否每家餐馆都适合他的口味，而不是现在通过平台筛选告诉他你是否喜欢这个。这是任忠还有很长的路要走，我们今天还没有做到。

理解更有基础的实践是我们对用户和商家的理解，包括交易中的一些历史兴趣或用户何时在线，包括通过点击和当前实施的其他行为表达的一些理解。了解商户自己用餐的速度和口味，并具备一定的质量。

如果我们一次为用户做出一个选择，用户可能会多次重复购买。这个里面的信息是不同的，包括一些在平台上多次使用的红包，或者是促进用户购买的手段。事实上，这个可以通过人工智能来改进。

对于决策，对于平台，更多的是关于刚才提到的配送，如何分配我们的配送资源，以及如何做出更好的调度。

如果我们稍微扩展一下这个问题，左边是用户，右边是商家，中间是平台应该做的两件事。核心点包括交通匹配、智能营销和非常重要的商家生态健康。以上更重要的是配送路线规划，以及向哪个调度员发出订单。综上所述，我们应该实现分发准确性、及时性、满意度和成本之间的平衡。

交易平台的智能化

对于交易效率，我们可能希望做更好的匹配和单一匹配，并考虑长期的商业生态。

在美国使团的历史上，交易平台经历了四个阶段。目前，它正处于向人工智能时代过渡和进化的过程中。在早期，它是一些简单的手工操作规则，然后我们制作离线机器人的方法。今天，使用深度学习和在线学习，我们可以探索上下文，感知用户偏好的变化，并在线探索，例如对用户有帮助的新业务。在未来，我们希望更好地使用更多的强化学习和理解信息。例如，用户喜欢辛辣的食物并且对川菜感兴趣，或者湘菜适合他，这不仅是由知识驱动的，而且更有效地实现了目标，并且通过及时的传递做出了一些协调的调整。

现在在我们的应用页面上，我们可以找到搜索列表、平台排序、场景推荐、个性化推荐以及所有基本内容。这里的目标是单一用户转换，每个模块的功能必须是互补的。更重要的是，我们应该在单个模块中做更好的优化，比如信息优化和用户转化率估计的优化。

我们使用了一些深度学习技巧。对于关键信息的显示和显示风格的优化，我们使用了一些增强的学习方法。对于图像呈现，我们使用了图像处理方法，包括与美国有线电视新闻网的相关性。我们以前使用dssm和ctr进行预测，我们还使用增强的学习框架来冷启动新业务。

简单的说一下ctr和cvr，这对交易平台非常重要。它分为四层。首先，最基本的数据，上层如何获得我们的标签和我们的特征？注释类似于如何在今天的场景中更好地解决问题，使用什么具体模型来解决问题，以及如何在线更新实时数据，这是一种非常传统的做法。

特征相交有连续特征、离散特征和细节处理。在深入学习之后，仍然需要对原始特征进行处理。我们还使用了一些图像特征。以前，我们倾向于使用一些连续的离散特征。我们实际上可以通过商家主页的标题图了解更多关于商家的信息。该注释信息首先被用作底层的原始特征，其次被用作中间层表示，其将被添加为一些标签。

除了制作菜谱之外，因为有时候商家的标准菜品的信息不是很准确，这需要他来纠正，或者他可能会做不公平的营销，我们可以从某些方面来解决。

以上是我们如何帮助商家更好地展示菜肴。一些选中的图片不好看。我们怎么能告诉他这幅画是无效的？事实上，这个已经做了两件事。首先是美学。美学完成后，发现这个问题还没有解决。有些图片不那么难看和漂亮，但是用户不敢进去。第二，我们做了另一个浪潮，看看他对用户是否有足够的吸引力，这样做之后效果会更好。

评分和奖励

就标签而言，因为我们是在监督学习场景，所以我们是在从半监督或强化中学习，而且我们特别注意如何贴标签。无论我们是通过闭环学习引入反馈，还是我们现在正在这样做，例如，如果我们点击购买、评估甚至浏览业务的长度，是否可以添加购物车，包括它是否在购买后被取出？一些用户反馈，对业务进行评估，对交付人员进行反馈，等等。如果不细分，有些人对送货质量不满意，对业务质量也满意，但这个地方没有差异化。

还有一个问题，即代理人标签，点击和下订单在我们手中不是用户是否满意这道菜的最根本的反映。我们尝试使用各种信号来模拟用户真正喜欢这道菜的程度。

在模型设计中，我们综合考虑了点击率、订单率和订单量等多项优化目标。我们已经尝试了许多不同的点击率和点击率算法，但实际上这是一个进化过程。

最近，我们正在做dnn的ctr估计。在右边，我们将有一些连续的功能，如点击率功能和交付距离功能，这是在过去经常使用的。大约有100个人被放在一起，连接在一起，一层一层地优化，最后产生一个点击或购买决定。这是最近的工作，效果很好。

同时，我们实际上帮助企业做一些优化，包括帮助我们自己的bd提高在网上进行商务谈判的效率。一些图像光学字符识别技术将被用来识别身份卡，这是现在的业务，所以我们应该做他们当我们使用他们，并不是说我们需要做一个特别大的工作在这方面，所以这是一个内部的小项目。具体的做法实际上是非常标准的做法，所以做一些fcl。

配送调度算法的核心问题

接下来，我们可以看看我们现在正在做的订单的分配。这个问题看起来更简单。我们在左边有不同的用户，他们会在不同的时间去不同的公司。此时，我们需要多个分销商在满足用户需求时有选择地将这些订单交付给用户。然而，许多经销商已经在路上有订单，他们已经在去或交付的过程中。此时，我们应该向这些经销商分配新订单。我们应该如何分配它们？向谁发送，先发送哪个，后发送哪个？这是要解决的核心问题，分为四个步骤。

首先，当一个调度员给出目标时，估计他的交付时间。这是一个非常粗略的估计，因为我们还没有实现他的实际路径优化。其次，在我们知道大概的时间后，我们可以制定详细的路径规划。此时，我们实际上有一个订单，例如，有10或20个订单，我们将它们发送给调度员。我们应该把他们送到哪个调度员那里？

第三，我们如何进行全局优化的前提是要有一个合适的目标和约束，这实际上是一个比我刚才所说的更好的决策目标。

最后，还有一些优化的细节，它已经经历了大约四个步骤。在最早的时候，它是手动的，骑手抓住了票。一方面，他开着电动车，另一方面，他盯着视频，他很着急。后来，它被优化了。我们首先分配，分成地区和区域。每个区域都有一个站长。站长不需要自己送饭。他的任务是在高峰期召集骑手并分发订单。后来，经过系统的长期运行，我们能够自动完成这件事。今天，我们可以做智能调度，并使骑手的路径规划。骑手在90%的情况下都遵从了我们的建议。

在这种情况下，我们会考虑分销效率、用户体验、人工成本和骑手安全。我们希望针对不同的场景，包括容量规划。即使从长期来看，我们也可以在一个月内看到三个月内需要什么样的运输需求，我们需要做一些交易协调。

交货时间的问题已经很复杂了。这个过程是这样的。首先，骑手接受订单，他必须去商人那里，他必须去取食物，然后他开车到用户的身边。实际上在商人方面有一些问题。可能没有足够的时间做饭。当骑手到达商店时，他必须等待烹饪。这位骑手可能不熟悉这家商店。如果他想找或者等半天，就会有时间损失。最好估计一下开车时间。当你到达那里时，你可能不让骑手进入办公楼，或者办公楼很高，他可能不得不等待，这些都是不确定的因素。

同时，我们也有用户肖像。用户是否担心交货时间？一些用户可能不会如此焦虑。在一些地区，当在路上开车时，12点钟有交通堵塞吗？这些信息加起来非常多。

我们尝试了两种建模方法，一种是机器建模，对每个小部分分别建模，然后进行估计；另一种是数据系统建模，数据系统建模好，数据量大，所以采用数据建模。在我们有时间估计后，我们必须优化配送路线。这个目标是针对一个订单。当我们下命令时，我们应该指定哪个骑手？这个问题实际上很难。

首先，我们使用快速搜索，我们可以往哪个方向走，向哪个骑手分发是可行的。然后我们做一个稍微清晰的回归模型。最后，我们进行迭代优化，看看在优化中是否有快速搜索，它在这个领域有知识，我们可以做有效的分析。

事实上，目前这种效果可以达到99.9%的近似最优，并不是完全100%最优。这也是时间和效果之间的平衡。去年，我们只能达到99%，这意味着每天1%。大约有10万个问题。现在我们已经把它缩小到一万个订单。

决策目标和约束

对于决策目标，我们可能有这么多。首先，我们应该看看做什么决定。事实上，我们只是在什么时间优化订单，并将其交付给每个调度员。约束条件是乘客递送箱容量、用户期望递送时间、用餐时间、乘客递送时间和乘客驾驶速度。优化目标无疑是多个目标的组合，也是一个大规模的实时优化问题。有成千上万的分发区，成千上万的骑手，还有他们自己。

另一个问题是很强的随机性。用户可能会突然在某个地方下订单，这让我们之前的最佳解决方案感到困惑。此时，我们必须改变优化结果，这是一个非常大的挑战。

订单优化算法的关键是首先结合问题特征，包括搜索机制。我们有一些订单可以合并，一些地理信息可以简单地限制。在搜索机制上，我们有很多问题特征搜索和机制搜索。同时，正如你在右边看到的，你可以考虑一个订单，并且每次循环执行，这不是特别有效，并且会浪费一些资源。我们一批大约有10到20个订单，所以我们可以优化它们，或者我们可以在本地更新它们，并更新与少数用户相关的业务。

此外，我们将考虑未来一段时间内订单可能出现的预测。例如，在一个办公楼里有很多人，人们经常订购各种订单。我们提前预测，但事实上，随机性强的系统优化的改进会更有效。所以，有几个关键点。

我们实际上在批量更新后做了更详细的优化。我们如何进行粗略过滤？明显没有达到目标的骑手可以很快被淘汰。我们使用随机优化方法，包括如何最终合并订单，然后使用经典算法在转换后获得最佳匹配的在线解，从而降低复杂度。

同时，我们将进行优化。这种方法用在线方法是不现实的。我们做了大量的仿真平台建设。

总结与展望

总而言之，我们确实有很多业务应用程序问题。同时，为了解决业务应用程序的问题，我们需要做底层的基础设施。美团本身也有自己的云服务。为了提供大量底层基础设施，包括资源调度、计算资源和数据访问协议，我们不需要担心底层基础设施。就像我们自己开发的nlp算法一样，包括传统的lda、psa和其他模型，我们都有预先的底层实现。我们需要做的是在这个库中探索更多的应用程序。无论是我们今天没有提到的计算机视觉应用还是安全应用，都有许多用于用户安全或我们自己的平台安全的应用，它们实际上可以在我们平台的云上完成。

美团云本身实际上提供了一个产品云矩阵，它类似于这里提到的大多数解决方案，但是我们更好的一点是我们有一个非常大规模的业务，它可以在需求之间快速迭代，这意味着我们可以快速地将需求传输到底层的优化模型和数据。包括全堆栈gpu主机、垂直和物理机器以及深度学习平台，它也处于开放状态。我们刚才提到的各种验证、识别和应用其实都是开放的，可以与外界合作，包括中小型的人工智能公司，他们可以把自己的应用放到美团云上，为第三方提供服务。

这是我们美团对餐饮业的应用和基础设施的介绍。总而言之，我个人认为嗅觉和味觉识别的方向是一个非常有潜力的方向。同时，我们在营销过程中的流量转换优化、智能营销、公司用户访问和配送机制调度等方面也取得了一定的成绩，这与我们业务的应用是分不开的。如果我们做一个简单的展望，我们认为我们应该首先与外卖部门、配送部门和外卖部门协调，以及如何做好智能营销。这三个部门实际上可以协调和通过更多。

首先，自动配送和自动驾驶是很棒的事情。事实上，通过自动配送甚至比汽车更早的本地汽车来解决配送问题是可能的，或者前面提到的观点是相同的。这个问题表明，在应用场景中，分发汽车的速度远远低于汽车的速度，这意味着硬件成本要低得多。

第二，我们在这里走的路是相对固定的，不像汽车，它可能要到处跑。从这两点来看，我们更可行，我们每天都跑很多。我们有大量的数据积累，我们预测这件事会比自动驾驶更早实现。

第三，无论是刚才提到的许多人工智能应用，还是我们餐饮业已经做的和将来可能推出的应用，都是一个很好的具有规模效应的工具。我相信这件作品在未来会有更多的应用领域。

演讲结束后，王栋接受了包括雷锋在内的媒体的采访。以下是采访内容的记录:

问:我刚才听了你的演讲，谈了很多算法和基础设施建设方面的问题。您认为美团目前需要解决和优化哪些问题？没有优先权。

王栋:首先，产品有一个相对清晰的落地场景。以前，每个人都在谈论科技。事实上，人工智能技术在今天还不是很成熟。对于声音和图像都没有好的实用解决方案。它只能在有限的场景中通过技术和长期合作来解决问题。因此，如何找到一个合适的场景是非常关键的。我们也做一些外卖自动订购，这比如何让机器人帮助你从电子商务中购买衣服更容易，包括比自动驾驶更容易做的事情。关键在于你能否用技术来抛光产品，更好地满足人们的需求。

问:就技术架构而言，美团最需要优化什么？如果要完善技术架构，挑战在哪里？

王栋:我们主要做应用层面的工作，一楼有美团云的同事。无论是训练还是在线预测，如何实现更高的并行优化都是一个巨大的挑战。它甚至包括底层的GPU和fpga。在什么样的场景中，我们可以将它们与适当的解决方案结合起来，并且在总体成本和实际效果之间有一个很好的折衷。这是我们需要用我们的能力去做的事情。

其次，针对不同的应用场景和资源调度，仍然停留在资源管理层面。从建筑的角度来看，如何做得更好。

第三，前两个步骤已经完成。有没有可能在客户端进行一些终端计算，平衡双方的计算能力，平衡服务器端和客户端，并将终端计算和云计算结合起来？这是在建筑方面。

谈到技术挑战，语言理解和推理实际上是关键问题。人们擅长它，但机器不擅长它。有些人还提到如何突破内存中现有的结构，更好地整合内存和存储，并在计算时更好地调用它，这是一个很大的技术挑战。在模型中，我们现在使用的监督模型比较多，如何实现半监督、全监督和大规模数据采集。

问:美团和公众评论合并后，数据是如何协同工作的？美团点评的数据优势如何体现？

王栋:它可以和蝙蝠相比。他们都有不同的优势。百度有大量的信息，腾讯有大量的社交和游戏数据，阿里有很好的交易数据。对于美团来说，我们的用户优势在于本地电子商务服务领域。

最近，我们也做了一些基本用户数据的采集，包括用户的基本属性，比如做一些金融应用，基本数据是不能绕过的。这是我们在数据方面正在做的事情。我们也有骑手，他们每天都在街上跑，有很多场景和地图的报道，这有助于做好内部运作，提高我们的运作效率。这也是非常好的数据。

我们也有很多离线bd，我们会实时更新商店信息。这不仅是我们自己使用的，也是高科公司使用的。这是美团技术数据的核心。

问:美团的特点是业务种类多。你认为目前哪一个行业比朋友更先进？例如，出租车包括滴滴和易道，新零售美团与阿里的希波相似。

王栋:我们更多地关注用户的使用场景。例如，在打车的情况下，很多人都想知道美团为什么会打车，但如果你想让优步送货，我们倒着穿越边境也不是不可想象的。

有两点，一是与场景的结合，当用户去一个地方时，他们可以快速利用美团的本地运输能力到达目的地。第二，即使当地用户想吃饭，如果几个人一起去吃饭，他们需要坐出租车，这并不是很难操作。选好商店后，我们可以打车。这个未来很可能是统一的，它将带来商业和出租车商业模式的结合，并且可能有更好的解决方案来帮助企业做营销。因此，从这个角度来看，打车并不是一件不可想象的事情。

至于你刚才提到的新零售，阿里的逻辑很容易理解，因为网上几乎没有空空间，增长潜力也不大。为了获得离线用户，我们的逻辑是相似的。因此，这是基于对用户场景的业务理解和判断。

问:你能介绍美团云使用的一些人工智能技术吗，包括场景的应用？

王栋:美团云本身就是美团的整体整合。不仅是内部系统的运行和维护，还有采购和相对较新的人工智能，所有这些都是持续投资的。在此之前，他们还做了一些网络相关的应用，所以他们也做了大量的文本处理过滤，包括对用户的信息骚扰，这是在用户层面上完成的，包括ocr，也与各种外部和内部应用相匹配。

我们使用人脸++来进行人脸识别，或者我们可以使用我们内部自行开发的技术，这是作为一个整体在内部使用的。另一方面，它将为外部呼叫提供一个开放的平台，它也可以给外部用户足够的选择。

说到人脸，我们实际上使用的是实名认证。在酒店行业，我们可以对房间状况进行评估，包括商家提供的图片，以判断房间是什么类型，以及今晚是否会客满。最近，这个地方可能很轻，所以没有必要做很多在线营销活动。高入住率在未来可能会非常昂贵，所以我们可以通过提前预订来获得预订资源。

这也需要很强的预测能力，美团云也提供了这种能力。正如我们今天所说的，基础的iaas、paas和saas都涉及其中。事实上，美团本身有很多应用场景，其他新兴业务如酒店、旅游和餐饮对人工智能技术有着巨大的需求。在做好自己的事情的同时，我们应该结合自己的力量或外部力量来创造更好的技术。

问:使用了谁的人脸识别技术？

王栋:我们有自己的内部资源。打电话时，看看业务方面的情况。例如，金融部门要求非常高的精确度，这可能会被忽略得更多。

雷锋原创文章。严禁擅自转载。详情请参考转载说明。