-
Notifications
You must be signed in to change notification settings - Fork 0
/
local-search.xml
122 lines (58 loc) · 25.5 KB
/
local-search.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
<?xml version="1.0" encoding="utf-8"?>
<search>
<entry>
<title>Machine Learning for Databases</title>
<link href="/2023/07/27/Machine%20Learning%20for%20Databases/"/>
<url>/2023/07/27/Machine%20Learning%20for%20Databases/</url>
<content type="html"><![CDATA[<h1 id="参考论文"><a href="#参考论文" class="headerlink" title="参考论文"></a>参考论文</h1><p>参考论文为2021VLDB的tutorial-paper 《Machine Learning for Databases》 <a href="http://dbgroup.cs.tsinghua.edu.cn/ligl/papers/vldb21-tutorial-paper.pdf">文章链接</a></p><h1 id="摘要"><a href="#摘要" class="headerlink" title="摘要"></a>摘要</h1><h2 id="正文"><a href="#正文" class="headerlink" title="正文"></a>正文</h2><p>目前已经提出了机器学习技术来优化数据库。例如，传统的经验数据库优化技术(如成本估算、连接顺序选择、旋钮调优、索引和视图顾问)无法满足大规模数据库实例、各种应用和多样化用户的高性能需求，特别是在云上。幸运的是，基于机器学习的技术可以通过明智地选择优化策略来缓解这个问题。在本教程中，我们将数据库任务分为三个典型问题，可以通过不同的机器学习模型进行优化，包括np困难问题(例如，旋钮空间探索，索引/视图选择，离线优化的分区键推荐;查询重写、联机优化的连接顺序选择)、回归问题(例如，成本/基数估计、索引/视图收益估计、查询延迟预测)和预测问题(例如，查询工作负载预测)。我们回顾了现有的基于机器学习的技术来解决这些问题，并提出了研究挑战。</p><h2 id="补充信息"><a href="#补充信息" class="headerlink" title="补充信息"></a>补充信息</h2><h3 id="关键词解释"><a href="#关键词解释" class="headerlink" title="关键词解释"></a>关键词解释</h3><ul><li>成本估算(cost estimation)：成本估算（开销估算）是数据库系统评价一个访问计划优化好坏的标准。对于每一个生成的访问计划，优化器都必须根据相关统计信息（statistics）对其成本进行评估。成本估算的主要指标是CPU时间和I/O数量。另外计算内存也是一个重要指标，不过这个指标的各个参数在数据库系统初始化时已经设定完成了，优化器并不能对这种硬性参数产生什么影响。所以可以将成本简化为CPU成本+I/O成本。</li></ul><img src="/2023/07/27/Machine%20Learning%20for%20Databases/cost-estimation.png"><ul><li>连接顺序选择(join order selection)：</li><li>旋钮调优(knob tuning)：</li><li>索引和视图顾问(index and view advisor)：</li><li>旋钮空间探索(knob space exploration)：</li><li>索引/视图选择(index/view selection)：</li><li>离线优化的分区键推荐(partition-key recommendation for offline optimization)：</li><li>查询重写(query rewrite)：</li><li>联机优化的连接顺序选择(join order selection for online optimization)：</li><li>成本/基数估计(cost/cardinality estimation)：</li><li>索引/视图收益估计(index/view benefit estimation)：</li><li>查询延迟预测(query latency prediction)：</li><li>查询工作负载预测(query workload prediction)：</li></ul>]]></content>
<categories>
<category>论文翻译</category>
</categories>
<tags>
<tag>强化学习</tag>
<tag>AI4DB</tag>
<tag>机器学习</tag>
</tags>
</entry>
<entry>
<title>持续学习+强化学习+云边端的随笔记录</title>
<link href="/2023/07/06/%E6%8C%81%E7%BB%AD%E5%AD%A6%E4%B9%A0%E5%92%8C%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E9%9A%8F%E6%89%8B%E4%B8%80%E8%AE%B0/"/>
<url>/2023/07/06/%E6%8C%81%E7%BB%AD%E5%AD%A6%E4%B9%A0%E5%92%8C%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%9A%84%E9%9A%8F%E6%89%8B%E4%B8%80%E8%AE%B0/</url>
<content type="html"><![CDATA[<h3 id="持续学习的应用场景"><a href="#持续学习的应用场景" class="headerlink" title="持续学习的应用场景"></a>持续学习的应用场景</h3><p>持续学习用于流数据的处理，可以用于边缘计算，云计算场景：</p><ul><li>Edge<ul><li>嵌入式系统和机器人：+隐私、+效率、+快速适应、+在边缘、-互联网连接（例如自动驾驶汽车、机器人手臂/手）</li></ul></li><li>Cloud<ul><li>将持续学习用于AutoML 系统：+可扩展性、+效率、+快速适应、-能源消耗（例如推荐系统）</li></ul></li><li>Continue Edge-Cloud<ul><li>无处不在的人工智能系统：高效通信、流畅和动态计算</li><li>神经网络补丁：+安全补丁，+公平性补丁，+快速更新</li><li>持续分布式学习：在联邦学习系统中增加持续学习模块</li></ul></li></ul><h3 id="持续学习的挑战性问题与总结thinking"><a href="#持续学习的挑战性问题与总结thinking" class="headerlink" title="持续学习的挑战性问题与总结thinking"></a>持续学习的挑战性问题与总结thinking</h3><blockquote><ul><li>有可能持续地学习一个鲁棒的深度表示吗</li><li>现在提出的持续学习场景和评估指标是足够的吗</li><li>在持续学习中，什么程度的监督信息是符合实际的</li><li>如何知道哪些信息是要遗忘的，哪些是需要记住的</li><li>持续学习和概念漂移的关系是什么</li><li>计算和存储哪个更重要</li><li>序列学习和持续学习的关系是什么</li><li>整合能力是人类智能中的一个核心的部分：CL系统可在这方面有何种可期待的突破</li><li>系统的自我评估：当仅有未标签数据时，如何衡量模型精度</li></ul></blockquote><ul><li>持续学习现在面对的主要问题除了灾难性遗忘还有什么呢？</li><li>持续学习用于强化学习真的可以提高它的稳定性吗？</li></ul>]]></content>
<categories>
<category>学习随笔</category>
</categories>
<tags>
<tag>云边端协同</tag>
<tag>持续学习</tag>
<tag>强化学习</tag>
</tags>
</entry>
<entry>
<title>《Multiuser Computation Offloading and Resource Allocation for Cloud–Edge Heterogeneous Network》论文阅读笔记</title>
<link href="/2023/04/12/Multiuser%20Computation%20Offloading%20and%20Resource%20Allocation%20for%20Cloud%E2%80%93Edge%20Heterogeneous%20Network%E8%AE%BA%E6%96%87%E7%AC%94%E8%AE%B0/"/>
<url>/2023/04/12/Multiuser%20Computation%20Offloading%20and%20Resource%20Allocation%20for%20Cloud%E2%80%93Edge%20Heterogeneous%20Network%E8%AE%BA%E6%96%87%E7%AC%94%E8%AE%B0/</url>
<content type="html"><![CDATA[<h2 id="摘要"><a href="#摘要" class="headerlink" title="摘要"></a>摘要</h2><p>云边异构网络是一种建立在边缘基础设施上的新兴技术，它基于云计算技术和边缘计算能力的核心。<strong>云边异构网络系统的计算卸载、缓存决策和资源分配的联合问题</strong>是一个具有挑战性的问题。在本文中，作者研究了具有多个独立任务的云边缘异构网络系统的<strong>计算卸载、缓存决策、传输功率分配和CPU频率分配的联合问题</strong>。目标是<strong>最小化执行延迟和能量消耗的加权和成本，同时保证任务的传输功率和CPU频率约束</strong>。还考虑了每个接入点 (AP) 的计算资源和缓存容量的约束。该问题是一个混合整数非线性优化问题。为了解决表述的问题，我们提出了一种基于强化学习 (RL) 和顺序二次规划 (SQP) 的两级交替方法框架。在上层，给定分配的传输功率和CPU频率，采用深度Q网络方法解决任务卸载决策和缓存决策问题。在较低级别，利用SQP技术得到卸载决策和缓存决策的最优传输功率和CPU频率分配。仿真结果表明，与其他基线相比，所提出的方案在总和成本上显着降低了。</p><h2 id="论文阅读问答"><a href="#论文阅读问答" class="headerlink" title="论文阅读问答"></a>论文阅读问答</h2><h4 id="本文试图解决的问题是什么？"><a href="#本文试图解决的问题是什么？" class="headerlink" title="本文试图解决的问题是什么？"></a>本文试图解决的问题是什么？</h4><p>在一个多用户的云边缘异构网络中，考虑任务传输功率和CPU频率约束的条件下，如何联合调度任务卸载、资源协调和数据缓存，使得网络整体的执行延迟和能量消耗的加权和成本最低。</p><p>具体阐述如下：</p><h5 id="网络模型"><a href="#网络模型" class="headerlink" title="网络模型"></a>网络模型</h5><p>网络模型为：一个远端云服务器，$I$个终端用户，$M$个边服务区</p><p>用户终端与边服务区通过无线连接，边服务区与远端云服务器通过光纤连接。</p><p>每个边服务区都配备有缓存容量的MEC服务器，在其无线覆盖范围内为终端用户提供计算服务。每个边服务区都可以将其缓存的数据推送到请求计算数据的终端用户，并且未缓存的数据必须通过来自云服务器的反向链接传递给用户。</p><p>云服务器为计算和数据中心</p><h5 id="传输模型"><a href="#传输模型" class="headerlink" title="传输模型"></a>传输模型</h5><p>$R_{i,m}^U=Blog_2(1+\frac{g_{i,m}d_{i,m}^{-\alpha}p_i}{N_oB})$</p><p>$R_{i,m}^D=Blog_2(1+\frac{g_{i,m}d_{i,m}^{-\alpha}q_i}{N_oB})$</p><p>其中$R_{i,m}^U$和$R_{i,m}^D$表示任务上行和下行的传输速率，$B$表示可用频谱带宽，$g_{i,m}d_{i,m}^{-\alpha}$表示第$i$个用户终端到第$m$个边服务区的信道功率增益，在本文中作者假设用户在数据卸载的时候传输的非常缓慢，所以在时间片内将$g_{i,m}$视为常数，$d_{i,m}$表示用户终端与边服务区之间的距离，$\alpha$是通道损失因子，$p_i$和$q_i$分别表示上传传输功率和下载传输功率，$N_o$表示噪声功率谱密度。</p><h5 id="任务模型"><a href="#任务模型" class="headerlink" title="任务模型"></a>任务模型</h5><p>作者假设在每个时间步，每个终端用户只有一个计算密集型任务，需要本地计算或卸载进行远程处理。每个计算任务都是原子的，未分割。</p><p>数据分为动态数据$D_i$和静态数据$U_i$，动态数据由终端用户本地收集，静态数据存储在云端的任务数据仓库。</p><p>边端的计算任务定义为$H_i \triangleq (S_i, W_i)$, $\triangleq$的意思就是定义为，$S_i$表示任务的数据量大小，$W_i$表示完成此任务所需要的CPU转圈数。 </p><p>$a_{i,m}\in {0,1}$表示数据$D_i$是否卸载到AP（边服务区）。如果$a_{i,m}=1$，则此时数据$D_i$被卸载到第$m$个MEC服务器上计算。</p><p>$b_{i,m}\in {0,1}$表示数据$D_i$是否卸载到云端。如果$b_{i,m}=1$，则此时数据$D_i$通过第$m$个MEC服务器被卸载到云端计算。</p><p>因此，用户$i$的卸载决策被约束为：$\sum_{m\in M}{(a_{i,m},b_{i,m})}\leqslant 1, i \in I$</p><p>同时，由于每个AP的计算资源都是$O_m$，用户$i$的卸载决策还需满足这个约束：$\sum_{i\in I}{a_{i,m}W_i}\leqslant O_m, m \in M$</p><p>用户可以从云服务器的数据库中请求缓存到AP的数据。对于每个AP，数据是否从数据库缓存，取决于数据的受欢迎程度。</p><p>$c_{i,m}\in {0,1}$表示数据$U_i$是否缓存到AP。如果$c_{i,m}=1$，则此时所需的远程数据库数据缓存在AP上。</p><p>数据缓存决策被约束为：$\sum_{i\in I}{c_{i,m}U_i}\leqslant C_m, m \in M$。其中$C_m$表示AP的缓存容量。</p><ul><li><p><strong>本地执行</strong></p><p>任务$H_i$的本地执行延迟$T_i^{L}$计算为：</p><p>$T_i^{L} = \frac{U_i}{R^D_{i,m}}+(1-c_{i,m})\frac{U_i}{r^{MC}}+\frac{W_i}{f_i^L}$</p><p>其中，$\frac{U_i}{R^D_{i,m}}$表示数据$U_i$从AP到用户端$i$的传输时间，$\frac{U_i}{r^{MC}}$表示任务从云端服务器到AP所需的数据传输时间，$r^{MC}$表示云服务器和AP之间的传输速率，$\frac{W_i}{f_i^L}$表示任务$H_i$的本地计算时间。</p><p>本地执行的任务$H_i$的能量消耗可以表示为：</p><p>$E_i^{L} = q_i\frac{U_i}{R^D_{i,m}}+\varepsilon(f_i^{L})^2W_i$</p><p>其中，$q_i\frac{U_i}{R^D_{i,m}}$表示数据$U_i$从AP到用户端$i$的传输能量消耗，$\varepsilon(f_i^{L})^2$表示本地服务器上任务计算的能耗，$\varepsilon$表示能源消耗参数。</p><p>最终，<strong>任务$H_i$的本地执行的总消耗</strong>定义为：</p><p>$C_i^L = wT_i^L + \eta \times (1-w)E_i^L$</p><p>其中，$w$表示任务$H_i$的时间和能量消耗的权重因子，其值在0到1之间，$\eta$定义为能耗膨胀系数。</p></li><li><p><strong>AP执行</strong></p><p>任务$H_i$的AP执行延迟$T_i^{M}$计算为：</p><p>$T_{i,m}^{M} = \frac{D_i}{R^U_{i,m}}+(1-c_{i,m})\frac{U_i}{r^{MC}}+\frac{W_i}{f_i^M}$</p><p>其中，$\frac{D_i}{R^U_{i,m}}$表示数据$D_i$从用户端$i$到AP的传输时间，$\frac{W_i}{f_i^M}$表示任务$H_i$在AP上的计算时间</p><p>AP执行的任务$H_i$的能量消耗可以表示为：</p><p>$E_{i,m}^{M} = p_i\frac{D_i}{R^U_{i,m}}+\varepsilon(f_i^{M})^2W_i$</p><p>其中，$p_i\frac{D_i}{R^U_{i,m}}$表示数据$D_i$从用户端$i$到AP的传输能量消耗，$\varepsilon(f_i^{M})^2$表示AP服务器上任务计算的能耗。</p><p>最终，<strong>任务$H_i$的AP执行的总消耗</strong>定义为：</p><p>$C_{i,m}^M = wT_{i,m}^M + \eta \times (1-w)E_{i,m}^M$</p></li><li><p><strong>云端执行</strong></p><p>任务$H_i$的云端执行延迟$T_{i,m}^{C}$计算为：</p><p>$T_{i,m}^{C} = \frac{D_i}{R^U_{i,m}}+\frac{D_i}{r^{MC}}+\frac{W_i}{f_i^C}$</p><p>其中，$\frac{D_i}{r^{MC}}$表示数据$D_i$从AP到云端的传输时间，$\frac{W_i}{f_i^C}$表示任务$H_i$在云端上的计算时间</p><p>云端执行的任务$H_i$的能量消耗可以表示为：</p><p>$E_{i,m}^{C} = p_i\frac{D_i}{R^U_{i,m}}+\varepsilon(f_i^{C})^2W_i$</p><p>其中，$p_i\frac{D_i}{R^U_{i,m}}$表示数据$D_i$从AP到云端的传输能量消耗，$\varepsilon(f_i^{C})^2$表示云端上任务计算的能耗。</p><p>最终，<strong>任务$H_i$的AP执行的总消耗</strong>定义为：</p><p>$C_{i,m}^C = wT_{i,m}^C + \eta \times (1-w)E_{i,m}^C$</p></li></ul><h5 id="问题定义"><a href="#问题定义" class="headerlink" title="问题定义"></a>问题定义</h5><p>考虑到MEC服务器有限的计算和缓存资源，对计算卸载决策和数据缓存决策以及传输功率和CPU频率分配进行了联合优化。目标是减少用户的等待时间和系统的传输功耗。当约束条件满足时，相应的优化问题可以表示如下：</p><p>$P1:$</p><ul><li><p>$min_\tau \sum_{m\in M}{\sum_{i\in I}{[(1-a_{i,m}-b_{i,m})C_i^L+a_{i,m}C_{i,m}^M+b_{i,m}]}} \qquad (1)$</p><ul><li>$\sum_{m\in M}{(a_{i,m},b_{i,m})}\leqslant 1, i \in I \qquad (1-1)$</li><li>$\sum_{i\in I}{a_{i,m}W_i}\leqslant O_m, m \in M \qquad (1-2)$</li><li>$\sum_{i\in I}{c_{i,m}U_i}\leqslant C_m, m \in M \qquad (1-3)$</li></ul></li><li><p>$s.t. (1-a_{i,m}-b_{i,m})T_i^L+a_{i,m}T_{i,m}^{M}+b_{i,m}T_{i,m}^{C} \leqslant T \qquad \forall i\in I,m\in M (2)$</p></li><li><p>$\qquad(1-a_{i,m}-b_{i,m})E_i^L+a_{i,m}E_{i,m}^{M}+b_{i,m}E_{i,m}^{C} \leqslant E \qquad \forall i\in I,m\in M (3)$</p></li><li><p>$\qquad 0 \leqslant p_i \leqslant P_i^{max} \qquad \forall i\in I,m\in M (4)$</p></li><li><p>$\qquad 0 \leqslant q_i \leqslant Q_i^{max} \qquad \forall i\in I,m\in M (5)$</p></li><li><p>$\qquad 0 \leqslant f_i^{L} \leqslant F^L \qquad \forall i\in I (6)$</p></li><li><p>$\qquad 0 \leqslant f_i^{M} \leqslant F^M \qquad \forall i\in I (7)$</p></li><li><p>$\qquad 0 \leqslant f_i^{C} \leqslant F^C \qquad \forall i\in I (8)$</p></li></ul><p>其中，$\tau = (a_{i,m}, b_{i,m}, c_{i,m}, p_i, q_i, f_i^{L}, f_i^{M}, f_i^{C})$表示优化变量集。公式(1)表示优化目标，即最小化总消耗。约束(1-1)表示任务只能卸载到AP或云服务器，或在本地执行。约束(1-2)表示每个AP的缓存约束。约束(1-3)表示每个AP的计算资源约束。约束(2)表示本地、AP或云服务器上的执行时间不应超过最大延迟$T$。约束(3)表示在本地、AP或云服务器上执行的能量消耗不应超过最大能量消耗$E$。约束(4)表示用户$i$的上行链路传输功率不应超过最大上行链路传输功率$P_i^{max}$。约束(5)表示AP的下行链路传输功率不应超过最大下行链路传输功率$Q_i^{max}$。约束(6)表示本地计算的最大CPU频率约束。约束(7)表示AP的最大CPU频率约束。约束(8)表示云服务器的最大CPU频率约束。</p><h4 id="本文提出的解决方案是什么？"><a href="#本文提出的解决方案是什么？" class="headerlink" title="本文提出的解决方案是什么？"></a>本文提出的解决方案是什么？</h4><p>提出了一种基于块协调下降(block coordinated descent，BCD)的两级替代方法框架。BCD技术的主要思想是迭代地优化不同的变量块。</p><p>根据本思想，本文讲优化问题分为两个子问题，一个用来优化$(a_{i,m}, b_{i,m}, c_{i,m})$，一个用来优化$(p_i, q_i, f_i^{L}, f_i^{M}, f_i^{C})$。</p><p>在上层，DQN用于解决给定传输功率和CPU频率分配下的TO决策和缓存决策问题。在下层，利用SQP优化方法求解上层优化卸载决策和缓存决策下的传输功率和CPU频率分配问题。</p><h5 id="基于深度Q网络方法的决策优化"><a href="#基于深度Q网络方法的决策优化" class="headerlink" title="基于深度Q网络方法的决策优化"></a>基于深度Q网络方法的决策优化</h5><p>DQN方法用于优化给定传输功率和CPU频率的TO决策和数据缓存决策$(a_{i,m}, b_{i,m}, c_{i,m})$。</p><ol><li><p>DQN的三个关键要素:状态，动作和奖励。</p><ol><li>State(S): 系统的状态包括三个部分$S = (Cost, om, cm)$,其中$Cost$表示系统的整体消耗；$om$表示边服务器的可用计算资源，$om = (\xi_1,…,\xi_m,…,\xi_\varsigma), \xi_m = O_m - \sum^{I}<em>{i=1}{a</em>{i,m}W_i}$；$cm$表示边服务器的可用缓存资源, $cm = (v_1,…,v_m,…,v_\varsigma), v_m = C_m - \sum^{I}<em>{i=1}{c</em>{i,m}U_i}$</li><li>Action(A): 系统动作包括卸载决策和缓存决策，卸载决策包括向量组$\Lambda = (a_1,…,a_i,…,a_\eta)$和$\Pi = (b_1,…,b_i,…,b_\eta)$,缓存决策包括向量组$\Upsilon = (c_1,…,c_i,…,c_\eta)$。结合以上向量组，系统动作向量为$A = [a_1,…,a_i,…,a_\eta,b_1,…,b_i,…,b_\eta, c_1,…,c_i,…,c_\eta]$</li><li>Reward(R): 在每一步中，<strong>Agent在执行每个可能的动作后都会在某个状态下获得奖励$R$。DQN的目标是获得最大奖励，因此奖励的值应该是总成本的负相关性</strong>所以即时奖励被定义为$R = (c1-c2)/c1$, 其中$c1$表示所有任务都在本地执行的总成本，$c2$表示当前策略下所有任务的总成本。如果$c1 > c2$，那么$R > 0$,这表示实施当前策略将获得更大的回报；否则表示前策略的实施不会获得比本地计算更大的回报。</li></ol></li><li><p>DQN网络方法：DQN算法来源于Q-learning，它是一种基于值的方法，涉及到一个状态-动作值(也称为Q值)。将Q值视为长期贴现discount奖励。Bellman方程表示状态-作用函数的递归关系，可以写成</p><p>$Q(S,A) = R + \beta max_{A’}Q(S’,A’)$</p><p>其中，$\beta$贴现discount因子,$S’,A’$表示下一步的状态和动作。那么Q值更新方式如下：</p><p>$Q(S,A) \gets Q(S,A) + \gamma(R + \beta max_{A’}Q(S’,A’)-Q(S,A))$</p><p>其中，$\gamma$表示学习因子。</p><p>在DQN中，通过使用一个称为预测网络的神经网络$Q_\theta(S,A)$，将Q值转化为一个函数拟合问题。DQN预测网络的输入是状态$S$，输出是对应状态下所有动作的状态-动作值函数$Q(S,A)$。Q函数通过更新网络参数$\theta$来逼近最优Q值$Q_\theta(S,A) \thickapprox Q^*(S,A)$。DQN有另一个神经网络，叫做目标网络。目标网络与权值为$\theta^-$的预测网络结构相同，用于估计目标值如下:</p><p>$R + \beta max_{A’}Q_{\theta^-}(S’,A’) \thickapprox R + \beta max_{A’}Q^*(S’,A’)$</p><p>然后，利用梯度下降法对预测网络的网络参数$\theta$进行更新。然而，目标网络的网络权值$\theta^-$是在固定epochs后从$\theta$中复制的，而不是每个训练周期。在这里，使用均方误差(MSE)来定义目标函数，即</p><p>$L(\theta) = E_{(S,A,R,S’) \thicksim D}[R + \beta max_{A’}Q_{\theta^-}(S’,A’)-Q_\theta(S,A)]^2$</p><p>采用梯度下降法通过偏微分更新参数</p><p>$\frac{\partial L(\theta)}{\partial \theta} = E_{(S,A,R,S’) \thicksim D}[R + \beta max_{A’}Q_{\theta^-}(S’,A’)-Q_\theta(S,A)]\frac{Q_\theta(S,A)}{\partial \theta}$</p><p>$D$表示经验记忆回收replay，元组$(S,A,R,S’)$表示具有奖励的状态转换，其从经验记忆回放中随机采样作为训练样本。</p></li></ol><p><strong>本文研究了云边缘异构网络计算系统的计算卸载、缓存决策和传输功率、CPU频率分配等联合问题。提出了一种两级交替方法框架和一种基于DQN和SQP的联合优化算法(JDSO)，以最小化执行延迟和能量消耗。上层是基于DQN方法解决to和数据缓存决策问题，下层是在上层优化的卸载和缓存决策下，基于SQP优化传输功率和CPU频率。</strong></p>]]></content>
<categories>
<category>论文笔记</category>
</categories>
<tags>
<tag>云边端协同</tag>
</tags>
</entry>
<entry>
<title>Li-First-Blog</title>
<link href="/2023/04/11/Li-First-Blog/"/>
<url>/2023/04/11/Li-First-Blog/</url>
<content type="html"><![CDATA[<p>这是在github上的第一篇博客，因为用了hexo，内容就以hexo的命令为主，辅助记忆</p><figure class="highlight axapta"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre></td><td class="code"><pre><code class="hljs axapta">hexo <span class="hljs-keyword">new</span> <span class="hljs-string">"postName"</span> <span class="hljs-meta">#新建文章</span><br>hexo <span class="hljs-keyword">new</span> page <span class="hljs-string">"pageName"</span> <span class="hljs-meta">#新建页面</span><br>hexo generate <span class="hljs-meta">#生成静态页面至public目录</span><br>hexo <span class="hljs-keyword">server</span> <span class="hljs-meta">#开启预览访问端口（默认端口4000，'ctrl + c'关闭server）</span><br>hexo deploy <span class="hljs-meta">#部署到GitHub</span><br>hexo help <span class="hljs-meta"># 查看帮助</span><br>hexo version <span class="hljs-meta">#查看Hexo的版本</span><br></code></pre></td></tr></table></figure>]]></content>
<tags>
<tag>Hexo</tag>
</tags>
</entry>
<entry>
<title>Hello World</title>
<link href="/2023/04/11/hello-world/"/>
<url>/2023/04/11/hello-world/</url>
<content type="html"><![CDATA[<p>Welcome to <a href="https://hexo.io/">Hexo</a>! This is your very first post. Check <a href="https://hexo.io/docs/">documentation</a> for more info. If you get any problems when using Hexo, you can find the answer in <a href="https://hexo.io/docs/troubleshooting.html">troubleshooting</a> or you can ask me on <a href="https://github.com/hexojs/hexo/issues">GitHub</a>.</p><h2 id="Quick-Start"><a href="#Quick-Start" class="headerlink" title="Quick Start"></a>Quick Start</h2><h3 id="Create-a-new-post"><a href="#Create-a-new-post" class="headerlink" title="Create a new post"></a>Create a new post</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ hexo new <span class="string">"My New Post"</span></span><br></pre></td></tr></table></figure><p>More info: <a href="https://hexo.io/docs/writing.html">Writing</a></p><h3 id="Run-server"><a href="#Run-server" class="headerlink" title="Run server"></a>Run server</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ hexo server</span><br></pre></td></tr></table></figure><p>More info: <a href="https://hexo.io/docs/server.html">Server</a></p><h3 id="Generate-static-files"><a href="#Generate-static-files" class="headerlink" title="Generate static files"></a>Generate static files</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ hexo generate</span><br></pre></td></tr></table></figure><p>More info: <a href="https://hexo.io/docs/generating.html">Generating</a></p><h3 id="Deploy-to-remote-sites"><a href="#Deploy-to-remote-sites" class="headerlink" title="Deploy to remote sites"></a>Deploy to remote sites</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ hexo deploy</span><br></pre></td></tr></table></figure><p>More info: <a href="https://hexo.io/docs/one-command-deployment.html">Deployment</a></p>]]></content>
</entry>
</search>