搜狗搜索助力世界最快计算机 推出超算图计算系统

本篇文章1061字，读完约3分钟

2018年3月，搜狗搜索与清华大学计算机系、无锡国家超级计算中心、数学工程与高级计算国家重点实验室、卡塔尔计算研究所、国家并行计算机工程技术研究中心等国家科研机构合作，共同开发并推出了世界上第一个基于超级计算机的超大规模图形计算系统——神图。上帝地图系统极大地提高了地图计算系统所能支持的最大数据量和计算复杂度，标志着超大规模地图数据的计算能力实现了巨大的飞跃，同时也为用户在搜索领域的体验开创了新的篇章。

神图系统的运行环境是神威太湖之光的国产超级计算机。自2016年6月以来，神威太湖之光已连续四次获得世界高性能电脑排行榜第一名，是目前世界上最快的电脑。神图基于神威太湖之光超级计算机的先进架构，克服了大规模图形计算系统面临的诸多核心技术难题，深度优化了超级计算机的运行特性，充分发挥了神威太湖之光超宽并行架构的计算能力，将实际任务的应用性能提高了两个数量级。

搜狗搜索始终专注于前沿科技成果的推广和创新，致力于为用户带来便捷、丰富的个性化搜索体验，满足用户多样化的搜索需求。搜狗搜索的智能用户分析系统为神图系统的研发提供了一个不可或缺的、全方位、多角度的用户实践场景。

神威太湖之光超级计算机&副本；搜狗百科全书

过去，超级计算机主要用于科学和工程计算，但是缺乏用于超大规模数据分析的非数值计算应用。图形是搜索和人工智能领域中常用的数据结构之一，能够表达丰富的相关关系。基于图的数据挖掘算法已经广泛应用于网页链接关系分析、文档主题建模、用户点击行为分析、实体和关系挖掘、搜索意图理解等搜索系统任务中。互联网应用的数据规模和用户使用频率都在快速增长，这对图形计算系统的横向扩展能力提出了新的挑战。现有的分布式图形计算系统一般采用点分或边分的分布式计算模式。然而，由于互联网环境中数据的幂律分布，顶点的度很不均衡，两种方法都面临严重的性能问题。超级计算机的先进体系结构和超高计算能力给超大规模图形计算任务带来了机遇和挑战。

示例:网络链接地图和副本；marcel salathe

自2017年以来，搜狗搜索与清华大学计算机系等单位联合开发了用于超大规模地图计算的上帝地图系统。通过深入分析神威太湖之光系统的大容量内存、领先的通信能力、大容量、可快速访问的外部存储系统等优势，结合超大规模图形算法的实际需求，R&D团队创新性地提出了差异化消息传播技术、基于包的消息分发技术、无锁数据分发技术、基于内存检查点的高可用性系统等一系列新技术，并成功开发了支持bfs/wcc/pagerank等的核心图形计算。在实际应用中，神图可以充分利用数千万个内核的计算能力和节点间的通信网络，在一个有12万亿条边的真实中文网页上完成一轮pagerank算法迭代只需要21秒，与文献报道的业界最先进的系统相比(例如微软的gram系统每轮pagerank迭代需要140秒来处理一个有1.2万亿条边的合成图)。处理后的图形数据规模增加了一个数量级，但计算时间缩短了一个数量级，综合性能提高了100倍以上，从而在图形计算节点规模、图形数据和运行速度上实现了重大突破。

申图系统的成功研发不仅拓展了国内超级计算机在大数据分析领域的应用能力，也为超大规模图形算法提供了更快的实验和优化计算环境。神图系统更强大的计算能力为人工智能及其他相关领域提供了更广阔的探索空间。

搜狗搜索R&D团队已经将申图系统整合并渗透到搜索大数据平台中。新系统将为搜狗搜索的持续优化提供强有力的技术支持和系统保障，为用户实现更加准确便捷的搜索体验。同时，作为人工智能领域的领导者，搜狗搜索将继续推进国内超级计算机和国内处理器产业，加速扭转中国计算机领域核心技术和信息安全受制于人的局面。