Hello,图数据库!再见,DBA!

SSDFans 2020-12-23 00:00


点击蓝字
关注我们




上周末系统变更,配合DBA在IBM小型机上升级DB2的数据库版本,貌似很平常的一件事,但是心里却起了波澜。


外面的世界早就变了样,而我们却依然在DB2上惯性前行。


1977年,硅谷一个30多岁的男人,凭借IBM的一个“失误”,成功开发了世界上使用最广泛,最成功的关系型数据库产品,就是后来的Oracle。到了1995年,IBM才发布了其关系型数据库产品,DB2。


而我,直到2003年,才开始学习DB2,起步晚不说,还是个冷门。一转眼,在这条路走了十多年,为什么不换条路呢?


数字化转型的新基建


今天,像Oracle、DB2这样的传统关系型数据库已经风光了30多年,至于未来,他们应该还会存在,但是我们看到的是,越来越多的应用场景被新产品和新技术替代。


目前,大多数NoSQL都是面向特定任务而设计出来的,这让我们有了更多的选择,如果一味的只用关系型数据库,可能会适得其反。


键值,列式,文档和图,四种NoSQL就像是四大名捕,各个身怀绝技。尤其是图数据库,这两年特别火。根据Garnter的研究分析,未来几年,图数据库将会以100%的速度增长。


最近在看任泽平等人合著的《新基建》,书中提到凡是符合未来新时代经济社会发展需要的基础设施都叫“新基建”。


相对于传统的关系型数据库,新型的图数据库就像是数据中心里的“新基建”,可以从数据挖掘的视角,去审视和发现大数据中存在的有价值的关系。



什么是图数据库?


我们今天所说的图(Graph),是图论的主要研究对象,是由若干顶点(Vertices)和边(Edges)组成的,用来存储实体的相关属性以及它们之间的关系信息。


图实际上是一个很古老的概念,最早出现在瑞士数学家欧拉的学术论文中,试图解决一个叫“哥尼斯堡七桥”的问题。


随着社交、电商、零售等行业的迅猛发展,这些行业逐渐形成了一张张基于大数据的关系网,如何发现关系,利用关系是亟需解决的问题。


而在面对复杂复杂关系的处理上,图是最佳的解决方案。利用图表现对象与对象之间的关系,在图上运用数学算法求解就可以有效解决链接爆炸的问题,降低复杂性,简化查询。


说起图应用的案例,其实很多,最著名的就是Google的PageRank算法,再比如Linkedin用图管理社交关系,实现好友推荐,Amazon用图实现实时的商品推荐,商业银行用图做风控、实现反欺诈和反洗钱。


虎虎生威的TigerGraph


说起图数据库,不得不提大名鼎鼎的Neo4j,尤其是其Cypher查询语言,让人有种耳目一新的感觉。


不过由于Neo4j社区版的功能有限,影响了其适用范围。目前开源软件社区中还有其他几个竞品,DGraph和JanusGraph,这二者都原生支持分布式,但是不支持SQL。另外一个重要的特征是,DGraph支持原生存储,而JanusGraph需要借助外部存储系统,导致其运维成本非常高。


后来,朋友向我推荐了一个第三代图数据库(Graph 3.0)的新产品,TigerGraph,与其技术人员交流后,发现产品确实有过人之处。


总结一下我对TigerGraph学习和理解:


  • 支持原生图存储,使得空间占用更少,相比传统关系型数据库在容量上平均减少50%。


  • 支持并行计算的分布式部署,高效并行加载数据,支持数据分片,利于横向扩展。


  • 支持HTAP混合交易负载,可以很好的处理数十亿的实体和数千亿的关系,实现亚秒级的查询响应和更多跳的深度链接分析。


  • 提供GSQL的专用查询语言和GraphStudio可视化开发套件。不过TigerGrpah的GSQL与Neo4j的Cypher语法有一定的差别,目前二者正在制定新一代的GQL,专门用于图数据库查询。


当然,TigerGraph还有很多特性,比如支持用户可扩展的图算法库等,唯一美中不足的地方,TigerGraph是一款闭源软件。



关于图的一些思考


虽然图数据库在国内互联网行业应用较多,但是在金融保险领域的案例其实还很少。我司早期尝试利用图数据库技术实现了家族营销的业务创新。


组织是人的组织,组织内部的关系也很重要。今天看到网上有文章讲保险代理人的模式,从传统的金字塔开始向前端小团队、后端大平台的方向发展,利用平台赋能扁平灵活的小组织。关于营销组织中的痛点,是不是也可以通过图计算进行优化,提升代理人队伍的管理效率呢?


另一方面,在我自己专业的业务连续性管理方面,也是很好的图计算应用场景,但是从建模到落地实施,估计也是长路漫漫。目前市面上的产品,好像也没听到过哪家是基于图的方式研发的。


早期我们看到的MySQL对与Oracle的替代,使用的是分库分表,读写分离的套路,其实不过是一个维度上的两个点在竞争,但当你升到更高的维度,用图的方式重构数据时,就不再是弯道超车,屌丝逆袭了,而是变道超车,决胜千里。


目前的很多创新,都是在外围展开的,对于真正核心的应用改造,无论在应用场景,还是理念上都有所欠缺。都知道创新这条路不好走,但如果是战略性的,就要敢于投入,毕竟一旦成功,收益远大于支出。


梦想总是要有的,万一实现了呢。


DBA这碗饭还能吃多久


在一些有规模的公司里,DBA大概分成两类。一类面向运维的,主要负责稳定运行、性能调优等;另一类,面向应用开发,主要是业务建模。


在Oracle最新的19C中,已经开始讲自动驾驶“Self-Driven”的概念了,试图通过人工智能完成数据库自治。


从前,Oracle数据库除了专业的模型设计外,还提供大量的配置参数,给了传统DBA很大的操作空间,而现在,随着数据库产品自身越来越智能,DBA可操作的余地变少了,价值越来越低,就算遇上难缠的性能问题,也可以通过闪存这样硬件帮忙把坑填了,而且速度还杠杠的,绝对比DBA优化好使。


另一方面,自动化运维平台也越来越普及,很多工作,在页面上点点按钮就搞定了,复杂的实施工作都被平台屏蔽掉了。就好像那句话, 离开了平台,你还是DBA,但有了平台,你就是操作员。


没有岗位是一成不变的,随着像图数据库这样的新技术的出现,让一些传统架构下的复杂事务,变得简单高效,性能甚至是百倍的提升。而分布式,多副本的集群技术,也让原来的可用性和性能问题也逐渐弱化,DBA们也差不多是时候考虑转转型了。



写在最后


当年,董事长提过新三大件,“买房、买车、买保险”。


房子,最重要的是什么?位置、位置、位置

汽车,最重要的是什么?安全、安全、安全

保险、最重要的是什么?保障、保障、保障


今天,你看看卖房介,从链家的VR视频看房,到基于行业图谱的贝壳找房,各个都是科技赋能的高手。


但是,对于保险公司,最重要的是,队伍!队伍!队伍!


董事长说我们是一家伟大的销售公司,科技赋能业务。当我们把各个渠道的代理人、客户和产品等这些实体和关系,借助图数据库技术,充分发挥计算优势,进行深度的链接分析时,就是科技赋队伍,从而打造出一支高效能的、武装精良的特种部队。


如果把传统的关系型数据表比作Excel,那么Graph就可以被比作PPT。两样技能肯定都是需要的,但是如果用来展现,你说哪个好?当然是,有图有真相。


DBA从来都不是我职业的全部,但我依然选择做一个隐形的DBA。



高端微信群介绍

创业投资群


AI、IOT、芯片创始人、投资人、分析师、券商

闪存群


覆盖5000多位全球华人闪存、存储芯片精英

云计算群


全闪存、软件定义存储SDS、超融合等公有云和私有云讨论

AI芯片群


讨论AI芯片和GPU、FPGA、CPU异构计算

5G群


物联网、5G芯片讨论

第三代半导体群

氮化镓、碳化硅等化合物半导体讨论

储芯片群

DRAM、NAND、3D XPoint等各类存储介质和主控讨论

汽车电子群

MCU、电源、传感器等汽车电子讨论

光电器件群

光通信、激光器、ToF、AR、VCSEL等光电器件讨论

渠道群

存储和芯片产品报价、行情、渠道、供应链




< 长按识别二维码添加好友 >

加入上述群聊




长按并关注

带你走进万物存储、万物智能、

万物互联信息革命新时代

微信号:SSDFans
SSDFans AI+IOT+闪存,万物存储、万物智能、万物互联的闪存2.0时代即将到来,你,准备好了吗?
评论
  • 数字隔离芯片是一种实现电气隔离功能的集成电路,在工业自动化、汽车电子、光伏储能与电力通信等领域的电气系统中发挥着至关重要的作用。其不仅可令高、低压系统之间相互独立,提高低压系统的抗干扰能力,同时还可确保高、低压系统之间的安全交互,使系统稳定工作,并避免操作者遭受来自高压系统的电击伤害。典型数字隔离芯片的简化原理图值得一提的是,数字隔离芯片历经多年发展,其应用范围已十分广泛,凡涉及到在高、低压系统之间进行信号传输的场景中基本都需要应用到此种芯片。那么,电气工程师在进行电路设计时到底该如何评估选择一
    华普微HOPERF 2025-01-20 16:50 73浏览
  • 临近春节,各方社交及应酬也变得多起来了,甚至一月份就排满了各式约见。有的是关系好的专业朋友的周末“恳谈会”,基本是关于2025年经济预判的话题,以及如何稳定工作等话题;但更多的预约是来自几个客户老板及副总裁们的见面,他们为今年的经济预判与企业发展焦虑而来。在聊天过程中,我发现今年的聊天有个很有意思的“点”,挺多人尤其关心我到底是怎么成长成现在的多领域风格的,还能掌握一些经济趋势的分析能力,到底学过哪些专业、在企业管过哪些具体事情?单单就这个一个月内,我就重复了数次“为什么”,再辅以我上次写的:《
    牛言喵语 2025-01-22 17:10 60浏览
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 188浏览
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 164浏览
  •     IPC-2581是基于ODB++标准、结合PCB行业特点而指定的PCB加工文件规范。    IPC-2581旨在替代CAM350格式,成为PCB加工行业的新的工业规范。    有一些免费软件,可以查看(不可修改)IPC-2581数据文件。这些软件典型用途是工艺校核。    1. Vu2581        出品:Downstream     
    电子知识打边炉 2025-01-22 11:12 58浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 122浏览
  • 嘿,咱来聊聊RISC-V MCU技术哈。 这RISC-V MCU技术呢,简单来说就是基于一个叫RISC-V的指令集架构做出的微控制器技术。RISC-V这个啊,2010年的时候,是加州大学伯克利分校的研究团队弄出来的,目的就是想搞个新的、开放的指令集架构,能跟上现代计算的需要。到了2015年,专门成立了个RISC-V基金会,让这个架构更标准,也更好地推广开了。这几年啊,这个RISC-V的生态系统发展得可快了,好多公司和机构都加入了RISC-V International,还推出了不少RISC-V
    丙丁先生 2025-01-21 12:10 118浏览
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 182浏览
  • 高速先生成员--黄刚这不马上就要过年了嘛,高速先生就不打算给大家上难度了,整一篇简单但很实用的文章给大伙瞧瞧好了。相信这个标题一出来,尤其对于PCB设计工程师来说,心就立马凉了半截。他们辛辛苦苦进行PCB的过孔设计,高速先生居然说设计多大的过孔他们不关心!另外估计这时候就跳出很多“挑刺”的粉丝了哈,因为翻看很多以往的文章,高速先生都表达了过孔孔径对高速性能的影响是很大的哦!咋滴,今天居然说孔径不关心了?别,别急哈,听高速先生在这篇文章中娓娓道来。首先还是要对各位设计工程师的设计表示肯定,毕竟像我
    一博科技 2025-01-21 16:17 103浏览
  •  万万没想到!科幻电影中的人形机器人,正在一步步走进我们人类的日常生活中来了。1月17日,乐聚将第100台全尺寸人形机器人交付北汽越野车,再次吹响了人形机器人疯狂进厂打工的号角。无独有尔,银河通用机器人作为一家成立不到两年时间的创业公司,在短短一年多时间内推出革命性的第一代产品Galbot G1,这是一款轮式、双臂、身体可折叠的人形机器人,得到了美团战投、经纬创投、IDG资本等众多投资方的认可。作为一家成立仅仅只有两年多时间的企业,智元机器人也把机器人从梦想带进了现实。2024年8月1
    刘旷 2025-01-21 11:15 492浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 156浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦