Ai4EDocs

Ai4EDocs简介

Ai4EDocs是Ai4E小组在学习中整理的一些可操作案例。案例的核心主要与建模仿真优化控制相关。文档主要特点为：

• 既有数学层面的探究，也包含了应用层面的案例。
• 包含大量Julia生态中软件包的使用
• 兼顾建模仿真优化控制核心与拓展
• 分享对理论抽象问题的认识
• 分享软件使用过程中的技巧
• 分享学习的心路历程与对库使用的理解
• Ai4Energy组的合作开发流程

供学习参考。

欢迎贡献文档！

文档内容

编程基础入门知识

• Windows的命令提示符简介
• • 命令提示符初接触
  • CMD简介
  • 如何进入CMD
  • 快捷方式与命令行启动程序的关系
  • 如何查看快捷方式的实质？
  • 视频地址
• PowerShell和Windows Terminal
• • PowerShell初印象
  • PowerShell简介
  • 如何打开PowerShell
  • PowerShell可以执行Windows管理任务吗？
  • Windows Terminal简介
  • 如何安装Windows Terminal
  • 如何使用PowerShell的emacs键绑定？
  • 我碰到了执行策略不允许的错误
  • EditMode的emacs键绑定有什么好处？
  • Linux下的shell
• 环境变量简介
• • 环境变量初接触
  • 再解释一下
  • 到底什么是环境变量
  • Windows下如何设置环境变量
  • Linux下如何设置环境变量
  • 有哪些重要的环境变量
  • PATH
  • INCLUDE_PATH
  • LD_LIBRARY_PATH
  • 视频地址
• Windows下安装gcc编译器和CLion
• • 编译器和集成开发环境简介
  • Windows下安装msys2、gcc以及CLion
  • msys2是什么？
  • 再说说mingw和mingw64
  • 也许初学者需要Gcc的介绍
  • GNU好像也必须提一下
  • 最后还是补充一下编译器、连接器、调试器、集成开发环境的概述及其相互关系
  • 视频地址
• make和Makefile介绍
• • 程序的编译和链接
  • make和Makefile
• 静态链接库和动态链接库
• • 静态链接库和动态链接库是什么
  • 使用c语言，CMake工具，来个例子
  • 对应的c语言源文件
  • 头文件呢？
  • 如何调用
  • 使用clion来一个step by step生成动态链接库的例子
  • 调用如何进行？
  • 能否简单补充一下CMake是什么？
  • 作业
  • 视频链接
• 以SAM为例实操
• • SAM是什么
  • SAM的组件构成
  • SAM的windows下的编译过程
  • 小结
  • 写在最后
• 以CoolProp为例的实操
• • 引言
  • RefProp是什么
  • CoolProp又是什么
  • Step by Step
  • 编译RefProp生成dll
  • 最后再多说一句
• 动态链接库(DLL)的生成与调用实操
• • 问题的产生与解决过程概述
  • 工作环境
  • 实践过程

Julia入门

• julia的安装
• • julia简介
  • 安装Julia
  • 安装vscode以及julia插件
  • vscode中Julia插件的使用
• julia的REPL
• • 什么是REPL
  • julia的REPL
  • julia的REPL的4个模式
• julia的语法要点
• • 变量声明和赋值
  • 基本数据类型
  • 数学运算
  • 条件语句
  • 循环
  • 函数定义
• julia的包管理
• • julia包管理概述
• julia的环境
• • julia的环境简介
• 创建julia包
• • 来个例子
• julia的类型系统
• • julia的类型系统
  • 多重分发
  • julia的类型和python、java的oop对比
• julia代码编译成可执行文件
• julia代码编译成库文件
• julia编译自定义系统镜像
• julia的元编程
• • 简介
  • Meta.Parse的例子
  • Meta.show_sexpr例子
  • 宏
  • 使用宏来改变AST
  • AST是啥
• julia对外部程序的加壳
• IJulia
• • jupyter简介
  • 在jupyter中的julia
  • 最后介绍一下julia原生的notebook工具Pluto
• julia的http服务
• julia与rpc
• julia的前后端分离示例

理解计算进阶

• 过程抽象
• • 核心概念简要解释
  • 过程抽象
• 数据抽象
• • 数据抽象的概念
  • sicp中的数据抽象的核心内容
  • 有理数计算
  • 以Julia语言举例
  • 使用 Julia 来实现有理数的加减乘除操作
  • 如果不用julia内置的而是自己写一个
  • 能源系统建模
  • 初等数学符号求导
  • 有理数的结构体和操作
  • 类和面向对象
  • 用python和c++的oop写法
  • 类型系统和多态性
  • 自动微分与符号求导
• 再说说递归
• • 递归简介
  • 用递归处理加减乘除的例子
  • 再来个Python的例子
  • 自然数的产生
  • Julia实现自然数生成
  • 符号求导也可用递归实现
  • Julia实现符号求导
  • 能源系统建模，碳足迹计算都可以用到
  • Greet模型与递归
  • 能源系统的从下到上构建和从上到下展开
  • 更多递归的内容
• 从符号到模型
• • 符号与模型简介
  • 编程中的源码与解析器
  • 再来一个Julia的例子
  • 来看看bibtex解析bib文件生成文献结构体
  • 反序列化是从符号到模型，序列化是从模型到符号
  • 以Julia来一个例子
  • Parser
  • 自己写Parser还是调用Parser
• 抽象语法树
• • 抽象语法简介
  • 一个简单的c的抽象语法树例子
  • 一个简单的fortran的抽象语法树的例子
  • 交互式Fortran与LFortran
  • 来个Julia的例子
  • 抽象语法树与模型
• 代码生成
• • 代码生成的常用方式
  • 看看例子吧
  • 机器学习中pytorch和tensorfkow也用到了代码生成
  • 从bib到html也是代码生成
  • 编译过程就是代码生成
  • 来一个Julia代码生成的例子
  • 一个简单些的代码生成例子
  • 我们用Meta.show_sexpr解释一下
  • Julia一定意义上可理解为高级版的scheme
• 领域特定语言DSL
• • 领域特定语言DSL简介
  • modelica可以认为是一个dsl
  • 来一个极简modelica例子
  • 再来由两个组件连接成系统的Modelica例子
  • gproms实际上也是写了一个dsl
  • 来个例子呗
  • 现在gproms采用xml存储模型，把刚才的例子输出一下
  • Cellml也是一个dsl
  • 例子例子
  • Sbml也是dsl
  • 例子例子
  • 再回顾一下从符号到模型（解析）和从模型到符号（导出）
  • 关于如何造一个语言参考
• 写个库还是创个语言
• • DSL与库的区别和联系
  • 创建一个语言需要考虑的太多了
  • 创建库可利用host语言的一些强大之处
  • Julia可以利用meta.parser和eval
  • 我们倾向于写库而不非创立dsl
  • 对于系统仿真DAEtools就是个库
  • 构建模型获得一个类似于抽象语法树的模型树
  • 抽象语法树与模型
  • DSL的IDE一般不多
  • modelica路径太长
  • 深度继承弊端凸显
  • modelica继承经常很深
  • Ascend也是一个DSL
  • 在多数场景DSL不如库
• 能源领域一些仿真软件解构
• OpenFoam解构
• • OpenFOAM简介
  • OpenFOAM的编译过程
  • Wmake与CMake
  • OpenFOAM的工作流程
  • OpenFOAM的核心组件FOAM

建模

• DifferentialEquations建模方法
• • 浅谈建模内涵
  • DE使用实例
  • DE的Callback特性
• ModelingToolkit建模方法
• • 符号计算内涵
  • MTK符号计算实例
  • DE与MTK的对比
• ModelingToolkit调用外部函数
• • 提出问题
  • 解决方案
  • 实例
  • 实例——CoolProp
• MTK常见问题
• • UndefVarError
  • key not found
  • xxx are missing from variables map
• 组织方程的艺术——组件化（入门）
• • 前言
  • 电路问题
  • 求对比解
  • 小结
• MTK的"前世今生"
• • 模块化思想
  • MTK在建模仿真中的角色
  • Symbolics实例
  • 小结与启示
• MTK为什么比DE慢？
• • 前言
  • MTK和DE计算时间对比
  • 小结
• 数学视角下的神经网络
• • 1 神经网络的数学内涵
  • 2 神经网络的学习特性探究
  • 3 启发与讨论

仿真

• 微分代数方程DAE
• • 何为微分代数方程
  • 代数方程、常微分方程、偏微分方程相互关系
  • 微分代数方程的应用
  • 流程模拟的序贯模块法与联立方程法
  • 流程仿真的软件及其构建方法
  • gproms、Ascend、Modelica和DAETools的建模方法
• DE求解PDE（对比MTK）
• • DE求解PDE
  • 数值传热学实例
  • 求解实例
  • 求解速度对比
  • 关于内涵的理解
• MTK调用Sundials计算
• • 前言
  • 1.ODEProblem
  • 2.NonlinearProblem
  • 3.DAEProblem
  • 总结
• MTK手动空间离散求解PDE
• • MTK的PDE求解技巧
  • 数值传热学实例
  • 求解实例
• MTK并行计算求解大规模电池阵列
• • 为什么使用并行计算
  • 1.建立锂电池单体的P2D模型
  • 2.程序初始化
  • 3.计算初始时刻系统参数
  • 4.系统显式时间推进迭代计算
  • 最终效果
• 组件化建模实例
• • MTK符号建模
  • RC电路建模实例
• MTK稳态系统仿真实例
• • 动态与瞬态
  • MTK的稳态求解技巧

优化

• 优化的概念
• • 优化简介
  • 一个Julia例子
  • 一个GAMS的例子
  • 一个Pyomo的例子
  • 决策变量、约束与目标函数
  • 单目标优化与多目标优化
  • 一个真实的问题
  • 再来一个例子
• 优化问题的分类
• • 按问题类型分
  • 按目标函数类型分
  • 按约束类型分
  • 按解空间是否连续分
  • 混合整数非线性规划
• 能源系统工程中有哪些优化问题
• • 能源系统工程中典型优化问题
  • 决策变量
  • 约束
  • 优化目标
• 优化问题的求解过程
• 优化问题的建模平台
• • GAMS
  • Pyomo
  • JuMP.jl
  • AMPL
  • AIMMS
  • Gekko
  • 比较一下
• 传统决定性算法
• • 传统决定性算法简介
  • MINLP的算法
• 启发式算法简介
• • 启发式算法概述
  • 遗传算法
  • 粒子群算法
  • 模拟退火算法
  • 蚁群算法
  • 蜂群算法
  • 要注意的问题
• 黑箱优化问题
• • 黑箱优化概述
  • 来几个例子
  • 基于仿真的优化
• 优化问题建模之递归建模方法
• • 递归与plasmo.jl的思想
  • Plasmo.jl的相关信息
• 优化应用之参数估计与软测量
• • 参数估计
  • 软测量
• 优化应用之代理模型
• • 代理模型简介
  • 最优化在代理模型构建中的应用
  • 举个例子
• 一些值得看看的工具
• JuMP混合整数线性优化实例
• • 问题简介
  • 优化问题的数学表达
  • JuMP求解代码
  • 小结
• JuMP非线性参数辨识实例
• • JuMP介绍
  • 求解实例
• 微分方程参数辨识实例
• • 微分方程参数辨识问题
  • 离散的概念
  • 微分参数辨识的优化表达
  • 加热器实例
• MTK非线性参数辨识实例
• • 参数辨识概念
  • 实例
• MTK符号系统参数辨识
• • 原理
  • RC组件建模
  • 构建组件
• 建立问题
• 辨识过程
• MTK部分参数辨识实例
• • 原理
  • 等效电路建模
  • 构建组件
  • 导入实验数据
  • 构建损失函数并求解
• 模型验证
• GenSBO—a General Simulation Based Optimizer
• • GenSBO简介
  • 模块组成
  • 算法组成
  • 算法流程
  • GenSBO的使用
  • 小结
• MIDACO
• • 简介
  • 特点
  • 应用场景
  • 安装与使用
  • 代码编写格式
  • 小结
• Optimization.jl
• • 简介
  • 核心库和模块
  • 特点和功能
  • 优化器支持
  • 使用方法
  • 小结

控制

• 控制的本质
• • 从bangbang到pid再到mpc
  • 模型预测控制详解
  • TCLab与工业4.0
  • 物联网
  • 再看微分方程的时间展开
  • 正问题、反问题
  • 数字孪生
• JuMP求解MPC问题
• • MTK中的OptimizationSystem、ControlSystem
  • 实例：加热器问题
  • 调节约束
• 卡尔曼滤波理论与应用
• • 卡尔曼滤波介绍
  • 卡尔曼滤波的数学表达
  • 卡尔曼滤波实例
  • 小结
• MTK求解MPC问题
• • MTK中的ControlSystem
  • MTK中的OptimizationSystem
  • 实例：加热器问题
• 最优控制理论与应用
• • 1 问题描述
  • 2 状态方程
  • 3 最优控制问题解析解
  • 4 机器人控制问题求解实例
  • 5 数值解
  • 总结

人工智能与机器学习

• 机器学习
• • 机器学习范围
  • 神经网络
  • 深度神经网络
  • 强化学习
  • 统计学习
  • CNN RNN LSTM
  • 一层又一层抽象（手动实现一个神经网络来理解）

物联网、大数据和云计算

• 物联网
• • 物联网简介
  • 传感器
  • 通讯协议
  • Modbus、Profibus和CAN
  • 消息传递协议
  • 执行器
  • 物联网平台软件
• 物联网的消息件
• • 物联网的消息件简介
  • 常用的消息件
  • 以mqtt为例，来一个发布主题、订阅主题、获得数据、转存数据的例子
  • 更多的参考信息
• 大数据简介
• • 大数据的框架体系
  • 大数据的核心技术
  • 更多参考信息
• 从虚拟机到云计算
• • 虚拟机
  • 云计算
• 容器化和k8s
• • 容器化
  • k8s
  • 小结一下

Ai4Energy系统框架

• Ai4EComponentLib.jl设计理念
• • 摘要
  • 1 Motivation
  • 2 Ai4EComponentLib设计理念
  • 3 系统实例
  • 4 组件化模型的优势
  • 结论
• OptControl.jl设计理念
• • 摘要
  • 1 Motivation
  • 2 OptControl框架
  • 3 OptControl中的数学推演
  • 4 求解实例
  • 5 结论

Golang简介

• golang的安装
• • golang安装
  • GO111MODULE 开启
  • 配置 Proxy
  • 配置检查
• golang简介
• • golang的特点
  • 谁在使用golang
  • 我们为什么要用golang

StepByStep练习

• docker-compose环境准备
• • 安装wsl
  • 安装docker和docker-compose
  • docker简介
  • docker-compose简介
• 消息服务器准备
• • 消息服务器简介
  • emqx简介
  • 使用docker-compose安装emqx
• 数据库准备
• • 关系数据库简介
  • mysql(mariadb)简介
  • 使用docker-compose安装mariadb
  • 使用adminer连接数据库
  • 使用datagrip连接数据库
  • 使用vscode的数据库插件
  • 如果使用PostgreSQL
• 准备go-zero环境
• • go-zero介绍
  • goctl安装
  • protoc的安装
  • goctl-vscode插件的安装
• GateWay设置
• • 网关和反向代理
  • 反向代理Nginx-proxy设置
  • Backend的服务器
  • 基于目录的反向代理
  • 跨节点的代理
• goctl生成api代码
• goctl根据数据库生成model
• • 描述单位的数据表
  • 描述变量类型的数据表
  • 根据数据表生成对应的model

附录之工具准备

• SSH、Git与Git图形化软件
• • SSH使用
  • git的使用
  • git图形化软件
• CSV.jl使用简介
• • 基本实现
  • 自定义分隔符
  • 无标题情况
  • 指定数据行数
  • 读取数据段
  • 转置
  • 数据操作
• 小结
• CoolProp使用介绍
• • CoolProp是什么
  • Python使用CoolProp
  • Julia使用Coolprop
• VScode中使用Git
• • 初始化仓库
  • 生成公钥
  • 配置公钥
  • VScode中添加远程仓库
  • 提交与推送

附录之工作流程

• 教育与学习
• • 知识可教，技能可练，智慧只能启发
  • 从抽象上升到具体
  • 5个重要因素
  • 其他
• 文档（docs）编写方法
• • 文档结构
  • 编写方法
• julia 的 REPL
• Ai4E组织合作开发流程
• • 开发流程简介
  • 准备工作
  • 开发逻辑
  • 操作步骤与方法
  • 实践
• Julia换源(更换国内镜像站)
• Julia安装
• • 下载网址
  • 下载julia-xxx-win64.zip安装包
  • 解压安装
  • 将路径加到环境变量中
  • 执行julia
• VScode开发环境配置
• • 插件位置
  • Julia
  • Mardown
  • 语言插件

附录之Julia资源传送门

基础文档

• Julia中文文档
• Julia官方文档
• Sciml总站

数值计算

• DifferentialEquations.jl（常微分方程求解包）
• NeuralPDE.jl（偏微分方程求解包）
• JuMP.jl（优化求解器包）
• DiffEqParamEstim.jl（基于DE的参数辨识包）
• Flux.jl Julia机器学习包(The Julia Machine Learning Library)
• EquationsSolver 自制的小型方程（组）求解器
• Optimization.jl(Sciml优化包)

符号计算

• ModelingToolkit.jl（符号建模包）
• Symbolics.jl（MTK依赖的符号求解包）
• SymPy.jl 符号计算包（可求方程解析解），与Matlab中的符号工具包类似

计算图形学

• Meshes.jl 纯Julia的CGAL（计算图形学算法库）实现
• Gmsh.jl gmsh的Julia接口

数据处理

• FileIO.jl Julia中不同类型文件读入的统一接口（包括MeshIO）
• CSV.jl
• DataFrames.jl（大规模数据批量处理包）
• Unitful（单位计算包）
• JSON3.jl JSON到类型的读入
• JSON.jl

可视化

• Plots.ji（可视化包）
• Pkg.jl 包管理
• Makie.jl 高性能绘图包。
• PlotlyJS.jl 网页绘图，图可拖动。

WEB框架

• Geine.jl and Stipple.jl Julia Web 框架Geine和Stipple的文档
• HTTP.jl

附录之其它资源传送门

1. CoolProp
2. APMonitor-github
3. APMonitor
4. Greet
5. Mqtt系列教程
6. Mixed Integer Distributed Ant Colony Optimization(midaco-solver)