【BDTC先睹为快】赖兆红：如何构建低延时大数据系统平台

2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会协办，中科院计算所与CSDN共同承办的2014中国大数据技术大会(Big Data Technology Conference 2014，BDTC 2014)将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天，以推进行业应用中的大数据技术发展为主旨，拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办，CCF大数据专家委员会承办，南京 大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开，并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者，深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展，NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势，OpenStack生态系统对于大数据计算需求的思考，以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用，分享实际生产系统中的技术特色和实践经验。

在本次大会召开之前，CSDN和本次大会“大数据基础设施”的演讲嘉宾赖兆红做了一次简单的沟通，他就如何构建低延时大数据系统平台做了简要的回答，同时他表示更多的内容将会在12月14日“2014中国大数据技术大会”上和大家分享！

北京卓越讯通科技有限公司CEO 赖兆红

现为北京卓越讯通科技有限公司CEO，博士毕业于英国伦敦大学学院(UCL)，研究方向为通信测量和人工智能。曾在英国伦敦彭博社(Bloomberg)系统架构组担任架构师。后加盟伦敦一家对冲基金负责高频交易数据分析。去年回北京组建团队研发大数据系列产品包括：光网10G/40G/100G采集设备、基于FPGA高速处理卡和大数据系统平台。

CSDN：能不能先简单介绍一下您的公司？

赖兆红：北京卓越讯通科技有限公司是一家致力于大数据硬件、软件采集和大数据应用的高科技公司。公司目前大数据系列产品包括基于FPGA的10G/40G/100G硬采集、分布式大数据软采集和大数据应用系统。大数据应用系统我们做到对2TB的数据索引查询在毫秒级别，具有采集、清洗、归类、统计、智能识别数据业务等应用。公司对以上产品拥有完全的知识产权，公司具有世界一流的顶尖软、硬件人才，放眼未来，北京卓越讯通系列产品将有力增加我国在大数据领域技术实力，推出基于高速大数据的系列产品。

CSDN：FPGA和通用CPU的问题域边界如何看？哪些场景适合用FPGA？

赖兆红：CPU指令集是面对通用应用场景的选择，而FPGA是针对定制化的具有高速并行处理需求的应用场景。对于大数据高速要求，通过定制化的编程电路进行并行处理从而大大降低处理时间，减少时延迟。适合FPGA的场景很多，如高速及数据量10Gbps以上和逻辑上可以并行处理，这些场景都是FPGA应用的典型场景。

CSDN：高频事务处理的主要难点和问题瓶颈是什么？怎么解决？

赖兆红：高频事务，如果是time-critical events，那么对时延要求很高。典型的应用如金融上的高频交易，对时延要求到个位数微妙级别，通常需要FPGA来处理。主要的难点包括，分析逻辑是否可以并行化处理、比较长的定制化FPGA研发周期和FPGA稳定性问题。

CSDN：这个细分产业链的上下游是怎样的？

赖兆红：大数据的产业链围绕三个层：采集、处理和应用。那么高速应用场景的产业链主要:：高速处理芯片提供商，如FPGA Xilinx/Altera，FPGA及硬件应用设计公司和应用产业链集中在具有高速数据处理需求的行业，比如运营商、金融交易所、CDN和电商平台。

CSDN：FPGA处理和Stream processing, Batch Processing怎么对接？有哪些问题难度？

赖兆红：FPGA\是通过可编程电路实现数据处理，本身就是stream processing；和通用的kernel above stream processing or batching processing相比，它通过定制化的硬件通道进行数据传输。难度具有多层面的，比如FPGA的稳定性、驱动调测和硬件设计符合要求等等。

CSDN：在大数据领域，目前还有哪些技术是你正在观察和研究的，为什么你看好这些技术？

赖兆红：硬件上我们现在正在推出10G/40G/100G的大数据采集，及数据采集完后通过FPGA对数据进行低时延传输。另外对大数据的标准化问题比较关注。人类数字化信息现在主要都是通过光进行传输，在光汇聚点进行采集分析是大数据的关键一个环节。有了数据，大数据的分析和算法才能施展。

CSDN：请谈谈你在这次大会上即将分享的话题。

赖兆红：我这次主要谈谈金融大数据系统对低时延的处理技术，这些技术可以扩展到很多其他行业。主要包含数据采集前端及中间的处理部分也涉及到系统架构建设的一些分享。

大数据和时间相关的一个重要属性Velocity，包含多个层面含义，其中数据传输速度和处理速度属于核心的两个部分。我们通常可以从数据源出发点到数据最终处理完，所需时延（Latency）作为我们衡量处理大数据速度相关的一个重要尺标。尤其这几年金融领域高频交易对低时延的高度要求（通常要求个位数微妙级别），这些技术框架在不少大数据应用场景具有借鉴意义。在此将结合本人过去在高频交易系统架构上的经验，在传输和处理层面展开探讨，即如何做到极致低延迟（Ultra Low Latency）的大数据系统。传输上将探讨如何通过基于FPGA高速传输卡和高速传输协议（eg FAST）来降低延迟，处理上如何通过减少软硬件环节来减少延迟。

CSDN：哪些听众最应该了解这些话题？你所分享的主题可以帮助听众解决哪些问题？

赖兆红：具有高速数据处理需求的大数据应用行业，比如电商、金融和运营商。通过这个主题，可以解决因为高速数据处理引起的时延问题。