240 发简信
ako8
IP属地：北京
  • 120
    180
    ako8
    通信

    Chimera: Communication Fusion for Hybrid Parallelism in Large Language Models 这个论文主要是提出...

    24 0 1
  • 180
    ako8
    针对all-reduce的优化

    Distributed On-Device LLM Inference With Over-the-Air Computation 这篇文章针对张量并行的all-reduce...

    11 0 0
  • 120
    180
    ako8
    关于LLM支持的agent的api调用

    Less is More: Optimizing Function Calling for LLM Execution on Edge Devices 重点关注的是大模型推...

    9 0 0
  • 120
    180
    ako8
    基于PD分离的流水线并行

    Jupiter: Fast and Resource-Efficient Collaborative Inference of Generative LLMs on Edge...

    6 0 0
  • 180
    ako8
    KVcache与prefill和decoding

    解码阶段的kvcache是什么数据构成的，每个新的token是计算后再合并到KVcache中吗 在 Transformer 模型的解码阶段（尤其是自回归生成场景，如文本生成）...

    775 0 0
  • 120
    180
    ako8
    基于生成错误的微调和推理增强

    Can LLMs Learn from Previous Mistakes? Investigating LLMs’ Errors to Boost for Reasonin...

    15 0 0
  • 180
    ako8
    CoT

    最近看了一篇文章是关于CoT微调的，所以看了一下关于CoT的内容。看之前其实是有两个疑问的，1）思考链这个是否是额外生成的，还是说模型的每一次推理过程中都会出现，2）现在的模...

    39 0 0
  • 120
    180
    ako8
    4D并行负载平衡

    WLB-LLM: Workload-Balanced 4D Parallelism for Large Language Model Training 这篇分析了工作负载不平...

    46 0 0
  • 120
    180
    ako8
    Regularized Evolution for Image Classifier Architecture Search

    原文链接：https://arxiv.org/pdf/1802.01548.pdf 发表：AAAI 2019 编辑：牛涛 code：https://colab.researc...

    EdgeAI
    3034 0 1
  • 120
    180
    ako8
    关于稀疏注意力头

    MOBA: MIXTURE OF BLOCK ATTENTION FOR LONG-CONTEXT LLMS 如图所示，就是模仿moe的形式来做了注意力头的稀疏化，但他跟我...

    384 0 1
  • 180
    ako8
    ACL2024

    ACL2024的文章放在收藏夹了，有时间看一下挺多代码和幻觉的文章，性能类有多模态和自蒸馏，还有各种模型评价方式的文章 Can LLMs Learn from Previou...

    748 0 1
  • 120
    180
    ako8
    稀疏注意力头

    MoBA: Mixture of Block Attention for Long-Context LLMs 关于稀疏注意力头的一篇文章，其实跟我最开始的想法是一样的，就是仿...

    493 0 0
  • 120
    180
    ako8
    通信计算重叠

    看了几篇文章，简单总结一下。 DeepSpeed- Inference: Enabling Efficient Inference of Transformer Models...

    431 0 0
  • 120
    180
    ako8
    deepseek

    关于deepseek的一些调研 最近关于deepseek非常的火，最主要的关注点集中在1.发布的R1版本性能对标gpt o1，v3版本对标4o2.训练成本低3.推理速度快 看...

    921 0 0
  • 180
    ako8
    边缘+流水线并行

    A Model-Distributed Inference Approach for Large Language Models at the Edge 他这应该是做的文本生...

    40 0 0
  • 120
    180
    ako8
    异构情况

    看了几篇关于大模型异构的问题，总的来说有以下几个问题 1远程自动区分以及对应的环境（cuda版本这类）2对于灵活的模型定义的支持3异构的硬件导致的资源利用率低以及掉队问题 表...

    19 0 0
  • 120
    180
    ako8
    2024-12-06

    Cambricon-LLM: A Chiplet-Based Hybrid Architecture for On-Device Inference of 70B LLM 如...

    32 0 0
  • 180
    ako8
    2024-12-18

    现在对于边缘设备上大模型的部署，我的想法是有两个方向，一个是把大的模型去拆开，一个是把小的模型集成。而且我认为应该是向多设备场景去考虑。现在已经有手机和手表是随时穿戴的。以后...

    50 0 0
  • 180
    ako8
    边缘部署综述

    On-Device Language Models: A Comprehensive Review 和MEI还有点不同，MEI是涉及网络通信的，这个是纯边缘端。说起来，MEI...

    773 0 0
  • 120
    180
    ako8
    模型集群

    LLM-BL E N D E R: Ensembling Large Language Models with Pairwise Ranking and Generativ...

    50 0 0
暂无个人介绍