240 发简信
IP属地:上海
  • 技术趋势-大数据架构

    细数一下,大数据架构目前比较热的词包括: * 数据湖、湖仓一体 * 批流合一、实时计算 * 存算分离、存储虚拟化 * 交易和分析融合,OLAP、HTAP、HSAP 等等,基本...

  • 120
    [Spark SQL] 源码解析之Parser

    前言 由上篇博客我们知道了SparkSql整个解析流程如下: sqlText 经过 SqlParser 解析成 Unresolved LogicalPlan; analyze...

  • 120
    AI系统架构之算法平台设计

    明确需求之后,算法平台的设计就比较明确了,业界可以参考的例子包括facebook的fblearner和Uber的Michelangelo(如下图)。 可以看到,算法平台包含几...

  • 120
    AI系统架构之算法平台需求

    接着上次的数据流水线,从数据收集到处理,属于传统大数据基础架构的范畴;从特征处理到算法训练,再到算法打分,就是AI系统的特有部分了,这一段的流水线要想高效运转,需要解决算法和...

  • 120
    AI系统架构之数据流水线

    上面提到的大数据基础架构,解决了数据的收集和存储问题,并且提供了实时和离线两种计算能力,接下来就需要考虑数据的使用,从原始的、初步结构化的数据,生成决策需要的知识、统计信息和...

  • 120
    AI系统架构之大数据基础架构

    昨天看到一个分享,来自前quora cto目前在医疗领域创业的Xavier,下图一页讲到了各个AI应用的共同点,结合香帅金融课对数据驱动的解释,可以总结如下: 1. 使用大量...

  • 120
    Fintech公司架构:文因互联

    文因互联是技术路线相对透明的一个公司,创始人鲍捷在知识图谱的研究和系统的方面分享很多。 公司的技术路线 (1)首先构建金融标准件,提升各个环节自动化的水平。另外一个方面,通过...

  • 治愈系

    为什么那些重要的工作轮不到你

    唐糖的年关一向都是兵荒马乱,因为她是HR。年终离职大潮将至,HR们这时候最忙,对观望的要稳定人心,对确定走的得招兵买马,还有各种计划各种报表各种总结各种会议。 晚上团队开完月...