 43

　　更新理论
　　更新理论是概率论的一个分支，它将泊松过程推广到任意持有时间。代替指数分佈的持有时间，更新过程可以具有任何具有有限均值的独立同分佈(IID)持有时间。更新奖励过程还具有在每个持有时间产生的随机奖励序列，这些奖励是独立同分佈的，但不必独立于持有时间。
　　更新过程具有类似于大数强定律和中心极限定理的渐近性质。更新功能M(T)（预计到达人数）和奖励功能G(T)（预期奖励值）在更新理论中至关重要。更新函数满足递归积分方程，更新方程。密钥更新方程给出了卷积的极限值M'(T)具有合适的非负函数。更新过程的叠加可以作为马尔可夫更新过程的一个特例来研究。
　　应用包括计算更换工厂磨损机械的最佳策略，以及比较不同保险单的长期利益。检查悖论与以下事实有关：在时间t观察更新间隔会给出一个平均值大于平均更新间隔的间隔。
　　续订流程
　　介绍
　　更新过程是泊松过程的推广。本质上，泊松过程是正整数（通常从零开始）上的连续时间马尔可夫过程，它在每个整数处具有独立的指数分佈的保持时间i在前进到下一个整数之前，i+1.在更新过程中，持有时间不必呈指数分佈；相反，持有时间可以在正数上具有任何分佈，只要持有时间是独立同分佈(IID)并且具有有限均值。
　　
　　具有保持时间Si和跳跃时间Jn的更新过程的示例演变
　　正式定义
　　让S1,S2,S3,S4,S5,…是一系列正独立同分佈随机变量，使得
　　0<B⁡[Si]<∞.
　　我们指的是随机变量Si作为“i-第保持时间”。
　　B⁡[Si]是期望_Si.
　　为每个n>0定义：
　　Ĵn=∑i=1nSi,
　　每个Ĵn被称为“n-th跳跃时间”和间隔[Ĵn,Ĵn+1]称为“更新间隔”。
　　然后(XT)T≥0由随机变量给出
　　XT=∑n=1∞I{Ĵn≤T}=支持{n：Ĵn≤T}
　　在哪裡I{Ĵn≤T}是指标函数
　　I{Ĵn≤T}={1,如果Ĵn≤T0,否则
　　(Xt)t≥0表示到时间t发生的跳跃次数，称为更新过程。
　　解释
　　如果考虑随机时间发生的事件，则可以选择考虑保持时间{Si：i≥1}作为两个连续事件之间经过的随机时间。例如，如果更新过程是对不同机器的故障次数进行建模，则保持时间表示一台机器在另一台机器发生故障之前的时间。
　　泊松过程是具有马尔可夫性质的唯一更新过程，因为指数分佈是具有无记忆性的唯一连续随机变量。
　　更新流程
　　
　　具有持有时间Si、跳跃时间Jn和奖励Wi的更新奖励过程的样本演化
　　让W1,W2,…是IID随机变量（奖励）的序列，满足
　　B⁡|Wi|<∞.
　　那麽随机变量
　　Yt=∑i=1XTWi
　　称为更新奖励过程。请注意，与Si，每个Wi可以取负值也可以取正值。
　　随机变量是T取决于两个序列：保持时间S1,S2,…和连续W1,W2,…这两个序列不必是独立的。尤其是，Wi可能是一个函数Si.
　　解释
　　在上述将保持时间解释为机器连续故障之间的时间的上下文中，“连续”W1,W2,…（在这种情况下恰好是负数）可以被视为由于连续故障而产生的连续维修成本。
　　另一个类比是我们有一隻神奇的鹅，它每隔一段时间（保持时间）产卵，分佈为Si.有时它会产下随机重量的金蛋，有时它会产下有毒的蛋（也是随机重量），需要负责任（且成本高昂）的处置。“奖励”Wi是连续的（随机的）财务损失/收益由连续的鸡蛋（i=1,2,3,...）和Yt记录时间t的总财务“奖励”。
　　续订功能
　　我们将更新函数定义为在一段时间内观察到的跳跃次数的期望值T：
　　M(T)=B⁡[XT].
　　基本更新定理
　　更新功能满足
　　limT→∞1TM(T)=1B⁡[S1].
　　证明
　　更新过程的强大的大数定律意味着
　　limT→∞XTT=1B⁡[S1].
　　为了证明初等更新定理，足以证明{XTT;T≥0}是一致可积的。
　　为此，请考虑一些截断的更新过程，其中保留时间由下式定义Sn¯=AI⁡{Sn>A}在哪裡A是这样一个点0<F(A)=p<1它存在于所有非确定性更新过程中。这个新的更新过程X¯T是上界XT并且它的更新只能发生在格子上{nA;n∈ñ}.此外，每次更新的次数与参数呈几何关係p.所以我们有
　　
　　更新过程的基本更新定理
　　我们定义奖励函数：
　　G(T)=B⁡[YT].
　　奖励函数满足
　　limT→∞1TG(T)=B⁡[W1]B⁡[S1].
　　更新方程
　　更新功能满足
　　M(T)=FS(T)+∫0TM(S-s)FS(s)ds
　　在哪裡FS是的累积分佈函数S1和FS是对应的概率密度函数。
　　证明
　　我们可以迭代对第一次持有时间的期望：
　　M(T)=B⁡[XT]=B⁡[B⁡(X∣S1)].
　　根据更新过程的定义，我们有
　　B⁡(XT∣S1=s)==I{T≥s}⁡(1+E⁡[XT-s]).
　　所以
　　
　　按要求。
　　密钥更新定理
　　设X为具有更新功能的更新过程M(T)和更新意味着μ.让G：[0,∞)→[0,∞)是一个满足的函数：
　　∫0∞G(T)dT<∞
　　g是单调且不增加的
　　关键更新定理指出，当T→∞:
　　∫0TG(T-X)米'(X)dX→1μ∫0∞G(X)dX
　　更新定理
　　考虑到G(X)=I[0,H](X)对于任何H>0作为特例给出更新定理：
　　M(T+H)-M(T)→Hμ作为T→∞
　　结果可以使用积分方程或耦合参数来证明。虽然是密钥更新定理的一个特例，但它可以通过考虑阶跃函数然后增加阶跃函数序列来推导出完整的定理。
　　渐近性质
　　更新过程和更新奖励过程具有类似于强数定律的性质，可以从同一个定理推导出来。如果(XT)T≥0是一个更新过程，并且(Yt)T≥0那麽是一个更新奖励的过程：
　　limT→∞1TXT=1B⁡[S1]
　　limT→∞1TYT=1B⁡[S1]B⁡[W1]
　　几乎可以肯定。
　　证明
　　首先考虑(XT)T≥0.根据定义，我们有：
　　ĴXT≤T≤ĴXT+1
　　对所有人T≥0所以
　　ĴXTXT≤TXT≤ĴXT+1XT
　　对于所有吨≥0。
　　现在自从0<B⁡[Si]<∞我们有：
　　XT→∞
　　作为T→∞几乎可以肯定（概率为1）。因此：
　　ĴXTXT=Ĵnn=1n∑i=1nSi→B⁡[S1]
　　几乎可以肯定（使用强大的大数定律）；相似地：
　　ĴXT+1XT=ĴXT+1XT+1Xt+1Xt=Jn+1n+1n+1n→B⁡[S1]⋅1
　　几乎可以肯定。
　　因此（因为t/Xt夹在两个词之间）
　　1tXt→1B⁡[S1]
　　几乎可以肯定。
　　接下来考虑(Yt)t≥0.我们有
　　1TyT=XTT1XTyT→1B⁡[S1]⋅B⁡[W1]
　　几乎可以肯定（使用第一个结果并使用大数定律Yt）。
　　更新过程还具有类似于中心极限定理的属性：
　　Xt-t/μtσ2/μ3
　　检查悖论
　　
　　由随机点t（以红色显示）确定的更新间隔随机大于第一个更新间隔。
　　更新过程的一个奇怪特徵是，如果我们等待某个预定时间t，然后观察包含t的更新间隔有多大，我们应该预期它通常大于平均大小的更新间隔。
　　在数学上，检查悖论指出：对于任何t>0，包含t的更新间隔随机大于第一个更新间隔。也就是说，对于所有x>0和所有t>0：
　　P⁡(SXT+1>X)≥P⁡(S1>X)=1-FS(X)
　　其中FS是IID持有时间Si的累积分佈函数。
　　悖论的解决方法是我们在时间t的採样分佈是有大小偏差的，因为选择区间的可能性与其大小成正比。但是，平均大小的更新间隔不是大小有偏差的。
　　证明
　　观察到t之前的最后一个跳跃时间是ĴXt;并且包含t的更新间隔是SXt+1.然后
　　
　　因为两者1-F(X)1-F(T-s)和1大于或等于1-F(X)对于s的所有值。
　　叠加
　　除非更新过程是泊松过程，否则两个独立更新过程的叠加（和）不是更新过程。但是，此类过程可以在称为马尔可夫更新过程的更大类过程中进行描述。但是，叠加过程中第一个事件间时间的累积分佈函数由给出
　　R(t)=1-∑ķ=1ķαk∑l=1Kαl(1−Rk(t))∏j=1,j≠kķαj∫t∞(1-Rj(y))dy
　　其中Rk(t)和αk>0是事件间时间的CDF和进程k的到达率。
　　示例应用程序
　　企业家Eric有n台机器，每台机器的使用寿命均匀分佈在零到两年之间。Eric可以让每台机器运行直到它发生故障，更换成本为2600欧元；或者，他可以在机器仍在运行时随时更换机器，费用为200欧元。
　　他的最优替换政策是什麽？
　　解决方案
　　n台机器的生命週期可以建模为n个独立的并发更新奖励过程，因此考虑n=1的情况就足够了。将此过程表示为(YT)T≥0.替换机器的连续寿命S是独立同分佈的，因此最优策略对于过程中的所有替换机器都是相同的。
　　如果Eric在机器生命週期开始时决定在0<t<2时间更换它，但机器恰好在该时间之前发生故障，则机器的生命週期S均匀分佈在[0,t]上，因此期望为0.5吨。所以机器的整体预期寿命为：
　　B⁡[i]=B⁡[i∣failsbeforet]⋅P⁡[failsbeforet]+E⁡[S∣doesnotfailbeforet]⋅P⁡[doesnotfailbeforet]=0.5t(t2)+t(2−t2)
　　每台机器的预期成本W为：
　　B⁡[W]=B⁡[W∣failsbeforet]⋅P⁡(failsbeforet)+E⁡[W∣doesnotfailbeforet]⋅P⁡(doesnotfailbeforet)=2600(t2)+200(2−t2)=1200t+200.
　　所以根据强数定律，他的单位时间长期平均成本为：
　　1t是t≃B⁡[W]E⁡[S]=4(1200t+200)t2+4t-2t2
　　然后对t进行微分：
　　∂∂t4(1200t+200)t2+4t−2t2=4(4t−t2)(1200)−(4−2t)(1200t+200)(t2+4t−2t2)2,
　　这意味着转折点满足：
　　0=(4t-t2)(1200)-(4-2t)(1200t+200)=4800t−1200t2−4800t−800+2400t2+400t=-800+400t+1200t2,
　　因此
　　0=3t2+t−2=(3t−2)(t+1).
　　我们在[0,2]中取唯一解t：t=2/3。这确实是一个最小值（而不是最大值），因为随着t趋于零，每单位时间的成本趋于无穷大，这意味着成本随着t的增加而减少，直到它开始增加的2/3点。