“新基建”时代，云原生转型的“护航者”

SparkSQL在特征变换主要有一下几类

1. 多表场景，用于表之间拼接操作，比如交易信息表去拼接账户表
2. 使用udf进行简单的特征变换，比如对时间戳进行hour函数处理
3. 使用时间窗口和udaf进行时序类特征处理，比如计算一个人最近1天的消费金额总和

SparkSQL到目前为止，解决很好的解决离线模型训练特征变换问题，但是随着AI应用的发展，大家对模型的期望不再只是得出离线调研效果，而是在真实的业务场景发挥出价值，而真实的业务场景是模型应用场景，它需要高性能，需要实时推理，这时候我们就会遇到以下问题

1. 多表数据离线到在线怎么映射，即批量训练过程中输入很多表，到在线环境这些表该以什么形式存在，这点也会影响整个系统架构，做得好能够提升效率，做得不好就会大大增加模型产生业务价值的成本
2. SQL转换成实时执行成本高，因为在线推理需要高性能，而数据科学家可能做出成千上万个特征，每个特征都人肉转换，会大大增加的工程成本
3. 离线特征和在线特征保持一致困难，手动转换就会导致一致性能，而且往往很难一致
4. 离线效果很棒但是在线效果无法满足业务需求

在具体的反欺诈场景，模型应用要求tp99 20ms去检测一笔交易是否是欺诈，所以对模型应用性能要求非常高

第四范式特征工程数据库是如何解决这些问题

五、Kafka事务

Kafka 从 0.11 版本开始引入了事务支持。事务可以保证 Kafka 在 Exactly Once 语义的基础上，生产和消费可以跨分区和会话，要么全部成功，要么全部失败。

5.1 Producer事务

为了了实现跨分区跨会话的事务，需要引入一个全局唯一的 TransactionID，并将 Producer 获得的 PID 和Transaction ID 绑定。这样当 Producer 重启后就可以通过正在进行的 TransactionID 获得原来的 PID。

为了管理 Transaction，Kafka 引入了一个新的组件 Transaction Coordinator。Producer 就是通过和 Transaction Coordinator 交互获得 Transaction ID 对应的任务状态。Transaction Coordinator 还负责将事务所有写入 Kafka 的一个内部 Topic，这样即使整个服务重启，由于事务状态得到保存，进行中的事务状态可以得到恢复，从而继续进行。

5.2 Consumer事务

对 Consumer 而言，事务的保证就会相对较弱，尤其是无法保证 Commit 的消息被准确消费。这是由于Consumer 可以通过 offset 访问任意信息，而且不同的 SegmentFile 生命周期不同，同一事务的消息可能会出现重启后被删除的情况。


 

对于NB-IoT而言，如今NB-IoT的基站数量在2019年达到70万个，未来NB-IoT的基础设施建设将会有进一步增长的空间，不仅会给物联网用户提供优质的网络服务，还会进一步实现覆盖的广度和深度，对2G形成大规模替代。

而对于Cat.1而言，其上行速率和下行速率与3G差距不大，是替代原有3G物联网场景的优先选项。截至2019年底，国内4G基站数量为544万个，具备全国提供Cat.1接入服务的基础设施条件，接近100%的全国覆盖率将带来更好的用户体验。在应用方面，Cat.1网络适用的常规行业包括POS机、智能监控、可穿戴设备、定位器、智能停车、云喇叭、公网对讲、环境管理、共享充电桩、共享充电宝等。

与此同时，Cat.1产业链也日趋完善。主要的Cat.1芯片厂商包括紫光展锐、高通、ASR、联发科、Sequans、Altair等，国内市场主要采用紫光展锐和ASR的Cat.1芯片，紫光展锐近期也推出了具有更高性价比、全球首款LTE Cat.1bis物联网芯片平台春藤8910DM。国内主流模组厂商都纷纷推出了Cat.1模组，模组价格也不断创新低，根据中国电信最新采购结果数据显示，Cat.1模组价格已进入40元以内的区间。

虽然在各种频谱政策驱动下，运营商启动了2G/3G频谱重耕，之前分配给运营商的2G/3G频谱已经被大大压缩，大量优质频谱资源已用于4G和NB-IoT。但是，运营商2G/3G退网也是一个渐进的过程。目前NB-IoT和Cat.1的成熟能够为2G/3G提供替代方案，但还够不上全方位替代，对于增量用户，要从市场趋势角度进行教育。存量的2G/3G物联网连接无法强制退服，但可以通过各种市场化手段促成用户加速退出的决策。只有替代方案足够成熟，2G/3G网络的频谱资源等才能充分释放出来，让资源更好地为物联网服务，NB-IoT和Cat.1的发展还任重道远。

（编辑：阜新站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!