随机过程

指导1

课本,第二章,2.1节。
选读部分:
我们提供一份材料(限于版权问题,我们提供的是一本教科书的部分章节),供大家选读.通常,国内的教科书大多言简意 或者说,比较干,与之相对,国外的教科书测生在叙达此较详细,阅读体验更好,这一材料所谈内容,与我们的程相对应,请大家重点回读前 17页.

作业的附加资源

Stochastic Processes _1_

指导2
必读部分:
课本第五章 5.1 – 5.5 节,其中 谱表示的证明部分可以略去

Papoulis 书,9.3节,其中丰富的例了值得仔细阅读体会。

Papoulis 书,9.4节,离散时间与连续时间的知识点高度平行,大多只是符号有差异,可以快速浏览.

选读部分:
Papoulis 书,9.2节中线性系统的部分。可以扩展关于随机过程通过线性系统的有关知识。

这里提供一份材料,针对 功率谱密度 进行讨论。该材料例子丰富,请大家有效阅读。

作业的附加资源

Power Spectral Density

指导3
指导必读部分:
课本第二音2.3节,第三音3.6节
Papoulis 书第十章,10.4节
选读部分:
课堂上对于周期平稳随机过程,仅做了基本介绍。周期平稳随机过程的相关函数具有周期性,据此可以针对其定义某种“谱”,与宽平稳随机过程的功率谱平行对应。该谱称为“谱相关函数(Spectral Correlation Function),在信号处理中应用广泛。这里给出谱相关函数的早期经典文献,供参考。

同时,我们提供S.Ross的名著《Introduction to Probability Models》中有关条件期望的相关章节,供同学们参考。Ross写写书素以深入浅出著称,且例子非常丰富,启发性很好。如果时间有限,可以只有效阅读其中的 3.1-3.4 节,后面的应用例子,浏览即可。

作业的附加资源

The_Spectral_Correlation_Theory_of_Cyclostationary_Time-Series _1_

Ross_Conditional_Expectation _1_

指导4
课本第五章,5,4节,5.6节

课本第二章,2.6节
Papoulis书,第11章,11.3节,11.4节。
Papoulis的处理是有讲究的,他把谱表示和K-L展开更紧密地联系在了一起,值得体会。

选读部分:
关于谱表示的资料,可谓汗牛充栋。我们这里仅提供一份比较标准的,供有效阅读。关于谱表示,我们在课上的处理更加侧重于清晰地陈述其含义,并没有给出严格的证明。该材料中的证明,可以作为课上内容的有效补充。

关于PCA和K-L展开的材料,同样是海量的。这里提供一份材料,将两者放在一起陈述,基本思路和我们课上的处理比较一致,供参考。
机器学习中的基本方法,Hebbian Learning,与PCA之间存在紧密联系。这里提供的材料,可以让大家对于这一80年代引起学术界广泛关注的联系,有一个初步的了解和认识。

作业的附加资源

Spectral Representation of Stationary Processes

Principal Component Analysis and K-L Expansion

Linear Hebbian learning and PCA

指导5
必读部分:课本,附录3选读部分:
这里提供加拿大Mcgill 大学的一份课件,其内容覆盖和我们课上讲授基本一致,可以参考。

作业的附加资源

STOCHASTIC CONVERGENCE

指导6

必读部分:
附件中给出的 Einstein 予1905 年写就的关于Brown运动的经典论文,仔细体会科学大师分析问题的方法。Abel曾经说过:“…………我们为什么要读大师的原作?很简单,如果能够读老师的作品,为什么去读学生们的东西呢?”希望能够和大家共勉。
附件中给出的关于中心极限定理的材料《The Central Limit Theorem》。中心极限定理是概率论,乃至于数学中最重要的定定理之一,作为理工科研究生,需要对其内涵和外延有良好认识。我们提供的材料中有许多习题,以及计算机实验,请同学们所尽可能多做一些,在实践中加深对于这一重要结论的理解。
材料中涉及的计算机实验,使用的是R语言,这是国际学术界流行的脚本类型统计分析语言。如果同学们有兴趣,可以简单单学习一下(放心,学习曲线十分平缓!)后开始应用。如果不愿意,那么MATLAB语言应该可以满足需要,材料中所有的R代码,都很容易转换为相应的MATLAB代码。
选读部分:
这里提供一份材料《Central Limit Theorem》,对中心极限定理进行了深入讨论。特别是,Lindeberg 关于中心极限定理的工作,提出了对于后续研究很有借鉴意义的新方法,是对我们课上所讲内容的重要突破,影响很深远。
这里还提供一份关于中心极限定理发展历史的简短介绍,供大家阅读了解。
关于最大熵方法,建议大家浏览维基百科的相关条目,了解一下最大熵分布的普遍性,真的不仅仅是高斯哟!
https://en.wikipedia.org/wiki/Maximum_entropy_probability_distribution
作业的附加资源

The history of the central limit

Central Limit Theorems

einstein_brownian_motion_1905

The Central Limit Theorem

指导7

必读部分:
课本,第三章,3.2节;
Papoulis书,第七章,7.17.2,7.3节。

选读部分:
关于多元高斯分布的文献,可谓浩如烟海。大体上可以分为统计学角度和机器学习角度两个大类(其实,这两个角度本质上是一样的)。这里提供几份材料,供大家参考:《Multivariate Normal Distribution》,统计学家比较推崇的多元高斯分布的专著,从中可以感受统计学角度的风格和品味。《Stanford Gaussian Distribution》,Stanford大学机器学习课程cs229的高斯分布的课件。
《Bishop Gaussian Distribution》,从 Bishop的名著《Pattern Recognition and Machine Learning》中摘录的有关高斯分布的章节。
《Murphy Gaussian Distribution》,从 Murphy 的名著《Machine Learning,AProbabilistic Perspective》中摘录的有关高斯分布的章节。后面三篇都着眼于高斯分布在机器学习方面的应用,内容一致的部分很多,但又各具特色,值得有效阅读!

作业的附加资源

Multivariate Normal Distributions

Stanford Gaussian Distribution

Bishop Gaussian Distribution

Murphy Gaussian Distribution

指导8
必读部分:
课本,第3章,3.4节
Papoulis书,第6章,6.1,6.2节,第9章,9.2节

选读部分:
这里提供与Price定理相关的若干材料,供同学们参考。包括:
Price本人的原始论文,这是Price定理的开篇之作;
Pawula关于Price定理的简单推广;
后人对于Price定理及其推广形式的简单总结;
Price定理在非线性通信信道分析中的应用,由此可以体会该定理在传统信息处理中的作用;

Price定理在深度学习中的应用,由此可以体会该定理在现代信息处理中的作用。
最后一篇文章发表于CVPR2018,其中用到的技术,完全是我们课上学过的东西。事实上,我们曾经在此之前布置过”高斯过程通过卷和积神经网络“的大作业,不少同学得到了和文章中类似甚至更好的结果。这表明两点:第一,顶会上的东西,也没有那么神秘和高不可攀,不少东西我们完全可以用课上学到的知识和技巧予以应对,并取得有趣的结果;第二,我们同学的潜力非常之大,千万不要看低自己!
作业的附加资源

A useful theorem for nonlinear devices having Gaussian Input

A modified version of Price_s theorem

NONLINEAR STATISTICAL SIGNAL PROCESSING USEFUL THEOREM AN THEIR APPLICATION

Theoretical Analysis and Performance of OFDM Signal in AWGN Channel

Fast Second-Order Stochastic Backpropagation for Variational Inference

Analytic Expressions for Probabilistic Moments of PL-DNN with Gaussian Input

指导9
必读章节:
课本,第四章,4.1-4.2节,4.3节的前两小节。
这里给出 MIT的Bertsekas教授撰写的《Introduction to Probability》中 Poisson过程的相关章节,供阅读参考。

选读章节:
这里给出若干种不同的随机过程教科书中关于Poisson过程的章节,供大家阅读比较参考。这些章节有一个特点,即它们从人不同的角度引出 Poisson 过程,乃至于给出了若干种不同的 Poisson过程定义。尽管这些定义是相互等价的,并没有新知识产生。但是,通过对这些材料的阅读,我们仍可以一方面加深对于Poisson过程的认识,另一方面体会Poisson过程内涵与外延的丰富。
作业的附加资源

Bertsekas-Poisson

Poisson_1_

Poisson_2_

Poisson_3_

Poisson_4_

Poisson_5_

Poisson_6_

Poisson_7_