V2EX 10月07日 13:16
数据分析引擎采用YAML代替SQL
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文探讨在数据分析引擎中引入YAML进行数据分析的优势,旨在提升数据分析效率与性能,并分析其作为SQL替代方案的可行性。

要在正在开发中的数据分析引擎上增加使用 yaml 进行数据分析的能力,以代替 sql ,基于以下原因:1 、对于多维数据模型的分析,sql 只能在二维表关系结构上进行定义( star schema 不等同于逻辑多维结构),并且进行复杂分析时编写 sql 语句存在大量 group by 和 sum(),降低整体描述性;2 、在进行 join 多个大数据量表(百亿级)进行查询时性能降低,可能需要根据特定查询进行详细调整,这无法支持业务层面的随机性探索式数据分析;3 、yaml 语法较为简单,且属于纯描述性语法,可以直接描述业务层面语义,通过解析 yaml 直接调用数据分析引擎底层接口,越过 sql ,能提供功能上更强、效率更高的查询能力;4 、“yaml 代替 sql”以及类似宣传可以作为后期产品宣传的噱头。

目前暂定使用 yaml 代替 sql ,不知道还有没有比 yaml 更合适(普及度高、纯描述性、语法简单)的语法结构?

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

数据分析 YAML SQL替代 性能提升
相关文章