人工智能大模型研究方向

  依托现有通用大模型（LLM，Large Language Model）技术，根据各行业的实际特点和需求，利用本行业的数据集研究、开发和训练其领域大模型。目前主要围绕教育和政务两大行业开展工作，合作伙伴包含云上贵州、中科曙光、江苏未来网络和华为等各领域头部企业，服务多家省市级机关单位以及省内部分中学。

  本方向主要研究领域：

  微调(Fine Tuning)技术：研究包含Prefix tuning、LoRA、P-tuning、AdaLoRA、Deepspeed、Peft和Petals等当前热门技术,根据行业特征，收集和准备质量可靠、标注准确性、经过数据清洗和预处理的训练数据集，设定微调策略和超参数，进行训练后对领域模型进行评估和调优。

  检索增强生成(RAG)技术：研究为大模型提供外部知识源的技术，扩展当前大模型的知识，减少模型幻觉，生成准确且符合上下文的答案，研究主要包含分块(Chunking)、向量化(Vectorisation)、搜索索引、重排(reranking)、过滤(filtering)、智能体(Agent)和知识图谱等技术。

  国产关键算力设备大模型性能优化技术：研究海光设备、昇腾设备等国产算力设备和大模型的适配性，优化各设备之间的性能，构造适合领域大模型应用的集群。

图1 政务大模型