嵌入式软件开发人员能否转型大模型工程师

原创 Linux阅码场 2023-11-14 08:02 600浏览 0评论 0点赞

多物理场仿真在半导体制程中的应用 4.23杭州！半导体产业链测试全链路解密

课程背景

人工智能经历了两次浪潮迭代，最近一次是attention机制的发现，并最终导致大模型智能的涌现。大模型依托互联网沉淀的大量数据和云计算提供的基础设施很快让chatGPT成为家喻户晓的应用，Copilot也成为广大程序员提升效率的工具。

大模型的关键概念如attention机制怎么理解？智能如何涌现？如何在实操中结合行业使用大模型AI技术？这些都是横亘在每个初学者面前的几个关键问题。

作为一个嵌入式软件开发者，如何能够更好的使用大模型AI技术编码？这也在成为一个新老程序员都不得不面对的问题。综合上述情况我们组织了这次训练营，希望能够培养出一批能够掌握AI技术同时又熟悉嵌入式软件开发的全栈工程师，迎接即将到来的俱身智能浪潮。

课程介绍

本课程刘博士将带领学员从四个部分来系统学习大模型技术。内容不但设计了对于历史背景，关键概念，行业应用等内容，而且还设计了专门的动手环节，让用户可以自己动手完成大模型技术的上手体验。

具体目录如下

大模型工程师Level 1 Course （2day）
	content	minute	day	week
			2
1	第一部分从计算机视觉到大模型	180	0.5

1.1	计算器视觉	30
1.1.1	冯·诺伊曼结构计算机不擅长做模式识别
1.1.2	神经网络最小节点：Perceptron
1.1.3	多层神经网络(ANN)：全连接层
1.1.4	训练算法：Error Propagation Gradient Descent Optimization Algorithm
1.1.5	梯度消失和梯度爆炸
1.1.6	解剖生物学的发展->CNN
1.1.7	残差网络ResNet
	讨论与测试
1.2	自然语言处理	60
1.2.1	词表示与语言模型
1.2.2	词向量Word2Vec
1.2.3	RNN
1.2.4	GRU: 门循环控制
1.2.5	LSTM：长短期记忆网络
1.2.6	双向RNN
1.2.7	隐私计算
1.2.8	联邦学习
1.2.9	Seq-2-Seq
1.2.10	注意力机制介绍
1.2.11	Transformer结构
	讨论与测试
1.3	大模型之旅	150
1.3.1	第一个预训练模型: BERT
1.3.2	Tokenizer
1.3.3	预训练：Next Token Prediction (Open Domain)
1.3.4	预训练：Next Token Prediction (Special Domain)
1.3.5	大模型训练框架：DeepSpeed
1.3.6	Delta Tuning
1.3.7	Supervised Fine Tune
1.3.7	Reinforce Leaning （Reward Modeling, DPO, PPO) 和对齐
1.3.8	Llama.CPP: 大模型部署
1.3.9	RAG和矢量数据库
	讨论与测试
2	第二部分大模型的关键概念、原理和机制	180	0.5
2.1	注意力机制
2.2	AI Agent
2.3	多模态
	Linear Projection
2.4	扩散模型
2.5	智能涌现与脑神经学
	压缩即智能
	我们生活的世界是自回归的世界
	讨论与测试
3	第三部分大模型应用与落地（可以根据企业性质组合）	180	0.5
3.1	IT
	信息检索
	机器问答
	文本生成
3.2	生物医学
	医学自然语音处理
	小分子
	蛋白质性能改造
	蛋白质结构生成
3.3	法律
	法律大模型
	案例判定
	讨论与测试
4	第四部分大模型handson	180	0.5
4.1	lab study1：词表和预训练
4.2	lab study2：Finefune LLM2
4.3	lab study3：模型对齐
4.4	lab study4：模型转换GGML,量化
4.5	lab study5：Embedding Model
4.6	lab study6：RAG with LangChain
4.7	lab study7：多模态体验

课程收益

掌握大模型的关键概念和AI技术的发展历史
熟悉各个行业如何采用大模型进行落地
上手实践大模型
和第一批大模型工程师成为终身学习组织的一份子

讲师介绍

刘靖峰，美国卡内基梅隆大学电子与计算机工程博士，

•美国卡内基梅隆大学博士，新加坡国立大学硕士，浙江大学学士

•2014年中央电视台中国创业榜样青年创业领袖，

•美国荣誉科学家协会(Sigma Xi)会员

•武汉首批城市合伙人

•中国科学院基础医学与肿瘤研究所客座研究员

刘靖峰博士先后在美国迈拓，Marvell，LSI担任高级工程师（Senior Staff Engineer），首席工程师（Principle Engineer）等职务。2005年刘靖峰博士在Boston创立无线通信模块公司AirSprite并成功融资800万美元，AirSprite 是工业自动化Wireless HART协议委员会的创始人，在全球首先推出基于IEEE 802.15.4的WirelessHART协议模块，后被西门子收购。

2016年，刘靖峰博士带领来自卡内基梅隆大学，密执安州立大学，俄克拉荷马大学等从事人工智能的博士创立专注计算机视觉的人工智能大数据公司——深圳神目信息技术有限公司。公司研发出全球领先的人脸识别、姿态识别、物体识别等计算机视觉核心技术，广泛布局智慧零售、智慧社区、警用安防、司法监狱等行业领域。团队研发的多模态大模型，在税法客服问答，消防普法，劳资纠纷法律咨询，蛋白质性能改造等方面取得了多方面的落地。

•带领12位博士团队完成科技部创新项目OFDM载波芯片，红外成像AI处理芯片

•负责Maxtor最后一代Longitudinal recording和第一代Perpendicular recording 硬盘读写芯片研发，实现每季度1200片台销售

刘靖峰博士有丰富的企业管理运营、软硬件开发，深度学习智能视觉处理技术开发、大模型端到端训练应用部署等经营。。拥有美国企业专利80项，欧洲专利18项，新加坡企业专利1项，另有数十项美国和中国专利在申请中。在国际一流科学杂志发表论文30余篇，学术著作1本。