每天早上9:30开晨会的机制改了之后,目前是周一周四同步日常事项,周三专项进展会议,另外每个月会有月会;所以目前可以说是每周对齐一次进展,每个月对齐一次这个月的目标达成情况。
0901开了这个月的月会,别人做的比较好的是:
- RL和合成数据的质检是比较深入的,包括benchmark构建,算子的构建
- 多SOTA模型评估的适用性和范围是比较广的,也是有应用潜力的
- 模型端到端评测是新的比较有思考的方向
自己的工作不足的是:
- 人工标注 辛苦一个月 但是却发现RL和多模型都不大用的上,这是什么问题?
- 在文本Benchmark上的进展也比较少
- 全链路监控也是做的不够深入
回想一下自己在年初看data juicer的收获,其中的模型评测集的思路,以及清洗链路的思路其实都是在正确的方向。