对话涛思数据陶建辉:留美物联网“老炮儿”,把物联网技术开源了
2009年7月12日,涛思数据CEO陶建辉正式对外宣布TDengine开源,将团队两年来多来写下的10万行C语言代码放在GitHuB上分享给全球的开发者,把最核心的存储引擎、计算引擎100%开源出来。
开源的代码里,有陶建辉亲手写下的3万多行C代码,包括他一直很得意的定时器、RPC、内存管理等一系列工具类程序。通过开源,TDengine快速获得市场反馈,吸引了全球开发者的关注。
作为业内资深连续创业者、留美物联网技术专家,51岁的陶建辉是圈子里名副其实的“老炮儿”。正是他多年对物联网开源技术的执著,驱动着他把物联网技术做成了业界再也无法忽视的开源生态。
本期《节点名人堂》,和您一起分享陶建辉与物联网开源技术的成绩单。
从优秀到卓越,相信信念的力量
节点财经:陶老师您好,非常荣幸能邀请您做客《节点名人堂》,请您先简单介绍下您自己吧。
陶建辉:大家好,我是涛思数据创始人陶建辉,非常高兴有机会和大家分享交流。
节点财经:我们发现,陶老师在您过往的职业生涯中,曾先后在摩托罗拉到、3Com公司就职,2008年回国创业后做了和信、快乐妈咪两家公司,这两家公司都是面向C端互联网大数据的。
陶建辉:是的。我是1986年上大学,1994年到美国留学,1997年开始在芝加哥摩托罗拉工作,后来又到了3Com公司。从2008年,回北京创业,我开始了长达11年的创业之路。
节点财经:您之前的职业经历和您现在做物联网大数据,项目跨度是非常大的,对您个人有哪些挑战?
陶建辉:从C端互联网大数据到B端物联网大数据,表面上跨度是有点大,但一细看,我的三次创业经历和我的工作经历一脉相承。
我在美国芝加哥摩托罗拉的工作主要是无线数据的核心网络设备研发。在此期间,我积累了大量的分布式、高可靠系统、大规模并发处理,特别是软件工程的经验。我2008年创立的第一家公司和信,本质上是一个通信软件公司,利用移动互联网来发送短信、彩信和邮件。因此,从摩托罗拉到和信的过度是很自然的,和信在2010年被联发科收购。
由于创办和信,我对手机终端有很深刻的了解。我认为,很多电子产品的数据处理、人机交互都可以交给智能手机来做,应该成为一个趋势。因此2013年我又重新创业,做了母婴智能硬件,并打造母婴健康大数据平台“快乐妈咪”,这家公司在2016年初被太平洋网络收购。
节点财经:事实上,没有证据表明实现物联网技术的开源,就能让物联网底层技术实现跨越式发展。市面上有那么多可以快速变现的项目,您为什么选择了需要大量成本投入的物联网?您的优势是什么?
陶建辉:物联网,是物与物相连的互联网。很多人说,物联网是知易行难的事情,想要做好更是难上加难。我做物联网,一个原因是我发现了问题和机会,另一个原因是我坚信自己有能力做成。
从快乐妈咪退出后的这一年,我接触了太多的智能硬件、物联网项目,发现对物联网数据的处理的方法是不合适的,也看到了物联网这个市场机会,和信以及美国的工作经历让我有足够的知识储备和技术优势攻克行业痛点,比如分布式高可靠系统设计、消息队列和资源管理调度。
创办涛思数据的时候,我正好49岁,作为一个行业“老炮儿”,我觉着我还没老,我要把积累的技术经验全都释放出来;行业里也有声音说“35岁以后的程序员没价值”,我不这样想。我认为程序员是没有年龄限制的,每个年龄段有每个年龄段特有的优势。程序员对技术和行业深层次理解创造的价值是无可估量的,以后我70岁了,我也还要做。
所以,在我下决心做物联网的时候,我就亲自动手写代码。两个月时间,我写了一万八千行代码,验证数据模型、设计存储结构、搭建分布式架构,证明我研发的产品,性能远超市场上的现有产品。
节点财经:您为什么没有继续在母婴大健康领域做延伸?做母婴会不会比您现在出圈做物联网过得更舒服?
陶建辉:这个和我自身特点有关系,我是一天能静心写12个小时代码的人。对于底层软件开发,关键是要耐得住寂寞。我骨子里是技术基因,最适合潜心搞研发。母婴行业是重运营和推广的行业,我一个技术背景的人来做,其实背后的辛酸苦辣要更多一些,做物联网的技术环境给我的归属感反而更强。
中国物联网产业发展到现在,更需要在底层软件方面有硬核式的技术突破。我认为现在是物联网技术最好的时代,工业自动化、互联网技术、5G技术等推动物联网技术进入爆发前的临界点。同时,我也要面对创业路上最残酷的现实,不论有多大困难不论它们是什么,我都要攻克它。中国的物联网技术,一定要在全球范围内推广,而不是在中国自吹自擂。
说实话,我们无法等待某个市场爆炸式的增长。所以现在的我,要么在路上,要么就在铺路建桥的路上。
硬核技术登上舞台,我创造的是连接点
节点财经:2015年是我国实施制造强国战略的第一个十年行动纲领。您认为,未来十年,是否是硬核科技的时代?
陶建辉:技术创新的内涵丰富且复杂,每一项核心技术的飞跃式发展都可以成为一个产业的支柱。也因此,以科技创新为旗帜的行业,大多服务于中国庞大的制造业,服务于中国工业基础和实体经济。紧跟技术发展的时代潮流,我希望我能给全球开发者创造更多的连接点。
节点财经:能请您详细介绍下涛思数据团队吗?
陶建辉:涛思数据在2017年5月份正式成立,总部设在北京,团队成员在北京和美国硅谷。公司于2017年6月获得明势资本和蛮子基金的天使投资,2019年1月获得永辉瑞金和温青投资的Pre-A投资。
涛思数据瞄准物联网数据市场,专注时序空间大数据的存储、查询、分析和计算。不依赖任何开源或第三方软件,涛思数据开发了拥有自主知识产权、自主可控性的高性能、可伸缩、高可靠、零管理的物联网大数据平台TDengine,可以广泛运用于物联网、车联网、工业互联网、IT运维等领域。
节点财经:今年7月,您把TDengine最核心的存储引擎、计算引擎技术开源,这与业内“核心技术保密”是完全相反的做法。您为什么选择这样做?
陶建辉:怎么能让人使用上TDengine?怎么让物联网、车联网、工业互联网行业普遍采用的Hadoop一套大数据处理体系尽快被淘汰掉?作为一个基础软件,一个中间件产品,怎么能在全球范围内推广,而不是在中国自吹自擂?这是我一直在思考的。
我自然想到了开源。但是开源什么,不开源什么,我与很多朋友交流,举棋不定。后来终于想明白了,要开源就一定要开源最核心、最有价值的部分。因为最核心的部分不分享给大家,大家采用你的产品就没有任何意义,毕竟,市场上有太多的可替代的方案。只有将自己最美、最有吸引力的地方充分展示出来,才能吸引更多的人来使用。
因此,我最后决定将最核心的存储引擎、计算引擎、还有成套的工具完全开源。目前,我们采用AGPL许可证,已经将TDengine的内核以及社区版100%开源。
节点财经:TDengine只面向物联网、车联网、工业互联网、运维监测等场景,您认为开源后的效果怎么样?
陶建辉:中国的工业自动化技术和基础设施的完善程度是全产业最完备的,TDengine率先在些场景落地,在工业互联网领域中的实际应用较多,服务项目的实时预警和预测。目前,我们在智慧城市、用电采集、数控机床、车联网、智慧油田等领域有大客户签单。
节点财经:从产品角度讲,您认为,来自物的物联网大数据与来自人的互联网大数据最本质的区别是什么?
陶建辉:物联网的数据来源于机器或传感器采集的数据,具有时间维度和空间维度,由于数据量大和实时性要求高,分析处理对系统化要求会更高,物联网也基本上没有情感数据。物联网大数据和互联网大数据在采集、清洗、分析、集成处理等各个方面,都有很大的不同。最本质的区别是,物联网大数据是结构化的时序数据,而互联网大数据主要是非结构化的数据。
我们这里主要来聊聊物联网大数据有十个特点。
①数据是时序的,一定带有时间戳;②数据是结构化的;③ 数据极少有更新或删除操作;④数据源是唯一的,无需事务处理;⑤相对互联网应用,写多读少;⑥用户关注的是一段时间的趋势,而不是某一特点时间点的值⑦ 数据是有保留期限的;⑧数据的查询分析一定是基于时间段和地理区域的;⑨除存储查询外,还往往需要各种统计和实时计算操作;⑩数据量巨大,一天采集的数据就可以超过100亿条。
节点财经:涛思数据的TDengine又是什么怎么处理的?
陶建辉:TDengine是一个处理物联网大数据的平台,具备高效处理物联网数据所需要的所有功能,包括:类SQL查询语言来插入或查询数据;支持C/C++,Java(JDBC),Python,Go,and Node.JS等开发接口;通过连续查询,支持基于滑动窗口的流式计算;内嵌缓存机制,每台设备的最新状态或记录都可以快速获得;安装包仅1.5M,从下载到成功运行仅仅几秒时间。
TDengine现阶段在做的事情是做好数据的处理、存储、高效查询计算和分析,主要解决物联网大数据的存储、计算和分析等问题。
节点财经:业内人士称,TDengine比Hadoop快至少10倍,是因为TDengine是用C代码编写的吗?C代码是其性能提升重要因素?
陶建辉:Hadoop是一个分布式系统基础架构,它是针对通用的大数据设计的,能处理各种场景的大数据。TDengine性能提升的根本原因是因为它是针对物联网数据特点而定制设计和优化的,只能处理物联网、车联网、工业互联网等场景。
C代码编写能提升性能,相对Java估计能提升50%以上,但无法数量级的提升。
节点财经:在用户操作方面,TDengine是时序数据库,插入和查询都是按时间索引,那么对于非时间维度的操作,我们的性能是否有优势?索引是否支持预先建立?全文搜索数据的性能与Hadoop对比有没有优势?
陶建辉:我们对于采集的物联网大数据,只有时间是有索引的,对于其他采集的数据是没有索引的。但是我们对于数据采集点的静态属性,比如位置、型号、颜色等也是有索引的,这样便于多个设备之间的数据聚合。
单纯从全文搜索来看,我们与Hadoop相比没有优势。但是对于物联网场景,现阶段几乎看不到有全文搜索的应用,一般查询都是指定时间段、指定区域的数据变化趋势。
节点财经:TDengine是为了解决Hadoop在物联网应用领域的瓶颈而设计,在这个领域有哪些竞争对手?对比logstash这类开源系统,有哪些优势?
陶建辉:在这个领域,美国一家公司Influx Data的产品InfluxDB与我们有一定相似。但还是有些不同。
相对于logstash而言,logstash能够有效处理来源于各种数据源的非结构化日志数据。涛思数据处理的是来自物联网数据源的结构化日志数据。相比之下,我们的覆盖范围更聚焦结构化处理,处理性能是数量级的高,数据压缩效果也更好。
节点财经:TDengine根据物联网的特性,团队做了哪些特定方向的优化?
陶建辉:我们团队最核心的竞争力就是研发创新。我们提出“一个设备一张表”数据模型,把每个设备的数据当做流,当做一个队列来处理,这样对于单个设备数据,数据是一块一块的连续存储,查询速度大幅提升,而且由于是时序的,一个设备的数据源是唯一的,写入操作是追加操作,连锁都不需要。因此无论是查询,还是写入,性能是数量级的提升。
为解决多个设备之间的数据聚合问题,我们提出了超级表的概念,将设备的静态数据与采集数据分离存储,并且对静态数据建有索引。这样聚合时,通过过滤的标签将数据集大幅减小,然后再在各个数据节点进行聚合。
节点财经:目前TDengine主要集中在索引优化上,针对系统在磁盘存储是否有优化措施?是否对磁盘写入进行过优化?
陶建辉:目前没有。
直面最残酷的现实,但绝不失去信念
节点财经:在资本市场上,IBM收购红帽、微软收购GitHub、VMware收购Heptio,你觉得TDengine和涛思数据团队未来的命运将会是怎样的?
陶建辉:我希望TDengine和团队可以一直做下去。我认为,物联网是我在未来能够做到行业领先位置的一种理解,对于团队来讲是一个优秀的目标,对于公司来讲是一个优秀的商业计划,对于客户来讲是一个优秀的产品服务。
也有投资人问过我,为什么不做全行业的开源?我用这三个问题给出了回答。
Q:你能够在什么方面成为世界最优秀的。同样重要的是,你不能在什么方面成为世界上最优秀的?
A:涛思数据聚焦物联网,物联网的发展是集中的、连贯的,在物联网领域有我职业生涯的技术优势。在市场爆发之前,我们不能盲目扩张,会把团队成员控制在20人以内。
Q:是什么驱动你的经济引擎?如何最有效地创造持久、强劲的现金流和利润率?
A: TDengine产品性能的竞争优势,将驱动公司未来的商业变现,为公司带来持续的现金流和利润率;我们不是一个依赖商业资源的公司,而是一个面向全球的技术公司。我们不直接销售给客户,一定是通过系统集成商、独立软件开发商、云服务提供商获取客户。
Q:你对什么充满热情,并让热情激发你的活力全力以赴?
A: 团队对技术充满热情,完全乐意去干,享受技术开源工作中本身的乐趣。
节点财经:外界往往会把开源模式和“不盈利”画上等号,事实上是这样的吗?
陶建辉:开源不等同于免费,不等于不盈利。开源后,我们主要依赖技术服务和技术支持创收。即使有源代码也不是所有公司能顺利集成、能随意修改的。特别是对于大企业,他们对产品性能和系统稳定要求更高,这时候,他们需要更加专业的产品原创团队的技术支持。
TDengine开源会推动物联网行业的发展,特别是边缘计算的发展,大家有了一个高效、低成本、易学习的工具。所以在未来我们会更加注重产品的性能和稳定,进一步深化技术服务。
节点财经:谷歌、微软等公司都在尝试开源,作为一家初创公司,涛思数据会遇到哪方面的阻碍?您认为最大的困难是什么?
陶建辉:“开源思维”带来了至关重要的商业逻辑,我们面对的将是全球范围的技术竞争,想要让中国物联网技术在世界范围内获得席位,开源是正确的方向,只有通过开源获得全球开发者的认同,中国技术才能真正打开市场。我们也在尝试建立开源社区、论坛交流,吸引全球技术人才。
我们现阶段最大的困难是如何吸引更多更优秀的人才加盟。如果有合适的人和我们“同舟共济”,我们才能坚定地朝着开源的方向,走向某个卓越之地。
我是一个既能看到困难又勇于挑战的人。面对这些困难的时候,我们需要让自己更强大、更有弹性,而不是变得软弱和丧失信心。虽然创业需要我们花上很长的时间,但是我们总会找到一条成功之路。我们在顺境中快速成长,也要学会在逆境中积累经验。
总结:如何使用技术将是决胜点
节点财经:物联网时代,您认为中国能成为规则的制定者吗?
陶建辉:中国与欧美国家技术上还是有差距,特别是在底层技术一块,但随着发展差距在缩小,中国的话语权越来越大,但成为规则的制定者还需要一定的时间。
有句话说“程序员改变世界”,实际上是技术改变世界。人类文明的几次跳跃式发展,都是技术颠覆式创新引发的。中国发展工业自动化已经有了很长的历史,技术是实现新发展的加速器。在每一个卓越公司诞生的过程中,我们都看到了技术的因素,然而技术本身不是公司发展的主要原因,有选择地尝试使用技术才是发展的驱动因素。
未来,如何合理使用物联网技术,将是产业发展的决胜点。
节点财经:字节跳动的张一鸣、搜狗的王小川、360的周鸿祎都是程序员创业的代表,作为一名连续创业者的程序员,您对技术群体创业有哪些建议?
陶建辉:技术是产业发展的加速器,我相信技术创造的价值,相信技术的力量。但另外一方面,率先使用技术占得先机的公司就能获得率先获得竞争优势吗?行业里有太多值得推敲的案例。
作为一位技术背景的创始人,我必须抛弃所有的迷茫和恐惧,以一种极其冷静的方式去引导团队健康发展。
经营公司需要让各种训练有素的人才“同舟共济”,创造一个简单、清晰、连贯的氛围,要引进运营、商务等方面的合伙人。同时,自己也要学习,改变自己的知识结构和对世界的认知,绝不能撒手不管当甩手掌柜,要积极参与和团队共同成长。