陆陆自习室

　基础知识　　计算学习理论是机器学习的理论基础，其目的是分析学习任务的困难本质，并根据分析结果指导算法设计．　　Coursera上有一门很热门的台湾课程<机器学习基石>, 其上半部分都是在讲这部分内容, 足见其重要性. 我们给定数据集 $D={x,y}$, 假设所有样本$x \in \mathcal{X} y \in \mathcal{Y}$独立同分布,并服从分布$\mathcal{D}$.$h$为$\mathcal{X \rightarrow Y}$的映射, 泛化误差为: E(h;\mathcal{D})=P(h(x)\neq y)$h$在$D$上的经验误差为: \hat{E}(h;D)=\frac{1}{m}\sum(h(x)\neq y)那么由于独立同分布, 经验误差的期望等于泛化误差, 学习理论非常关注的一个点在于经验误差的上限, 我们记作$\epsilon$ ,以及经验误差和泛化误差的逼近程度.如果h在数据集D上经验误差为0, 则称二者一致, 否则称为不一致. 我们通过”不合”(disagreement)来度量两个映射之间的差别: d(h ...

二月份，本来应该有机会读不少书的，但是刚回来家就被一股来势汹汹的流感击倒了，放假两周倒是生了十四天病，直到来学校一周了还有些咳嗽。不过好在还是读了两本书，一本是财商启蒙经典之作《富爸爸，穷爸爸》，另一半是《超负荷的大脑》。一本一本来说吧。 富爸爸，穷爸爸总的来说这本书虽然不长，但是其实内容还是很罗嗦，精简下来就这么几点： 注意资产和负债的区别, 积极购入资产, 必要消费通过收入支出, 尽量避免因为不必要消费而损失资产. 这里资产的定义大概是”无需人到场也可以持续产生财富的资本”, 例如股票, 有价值的房产(升值/房租), 知识产权, 等等. 复利的重要性. 好像其他方面就没有太值得一提的了. 超负荷的大脑一本科普小品, 由浅入深把我们人类大脑的一些常识性科学知识做了介绍, 偏重于我们的大脑在当今世界海量信息的背景下如何工作. 事实上,我们的大脑和我们几万年前祖先所拥有的并无二致, 但是需要处理的信息量却爆炸式增长, 所以, 探明这部分尤为重要.稍微总结一下知识点吧: 我们的注意力分为三种: 受控注意 Controlled attention这是我们强迫 ...

最近科研时经常遇到一个名词， spectral graph theory， 很多论文由于缺少这方面知识看不下去，因此找了些材料补充了一下，记录备忘。 “Just as astronomers use stellar spectra to determine the make-up of distant stars… [we aim] to deduce the properties and structure of [networks] from its spectrum.”-Chapter 1, Spectral Graph Theory by F.R.K. Chung 我们知道，在天体观测中，由于许多天体离我们实在是太过遥远，因此不便直接观察，因此我们往往通过观察光谱来进行天体观测，其中最著名的例子就是由观察到谱线红移而推测出宇宙正在不断扩张。同样的，一个图的谱也是用于描述图的重要工具。谱图理论就是研究如何通过几个容易计算的定量来描述图的性质。通常的方法是将图编码为一个矩阵然后计算矩阵的特征值（也就是谱 spectrum） 。 Laplacian and eig ...

很惭愧啊,这周又没有看什么书. 准备期末考试占去了一些时间,不过最近也是确实读书热情不太高.二月寒假放两周,这期间应该能看不少吧 ? 想想家里书柜里还有不少未开封的书就感觉心虚, 还没有把旧书读完就去买新书总有种偷情的感觉. 这个月完成了三本书, 第一本是未来简史, 第二本是江泽民传, 最后一本偷闲看了阿婆的无人生还. 未来简史 该书作者的人类简史, 10月份就已经读完并写了读后感, 其实当时就已经翻开了这本姊妹篇. 后来种种原因又放下便一直没读完. 备考期间,感觉复习地无聊了便又翻开. 然后就在番茄时的间隙中读完了. 有一些有趣的思绪随手就记下: 关于人类如何再次进化,从智人到智神, 其实我自己也有过思考. 特别是从事AI科研来讲,虽然强人工智能还摸不着边, 生物/行为认知上对人脑的研究也没有什么突破性进展,但是最近的AI浪潮已经让人不由得开始畅想.在人类升级的道路上,首先仅仅通过自然选择来实现进化最先被排除, 其一是现在人类社会不会太允许丛林法则和进化人文注意,其二周期也太过漫长. 那么通过生物技术来人为制造突变呢? 就像美国队长那样, 这里也会有几个较难解 ...

这个月月末忙于复习，乃至想看的很多书没有完成。已完成的如下： 现当代建筑15讲，这个是今年5月份就开始看的，后来断断续续没有完成一直拖到年末才终于结束了。准备整理一下其中的内容，目前已经完成了第一章的内容。 美丽新世界，赫胥黎的敌托邦名作，看完了正文还有一个revisit没看，等看完了应该也会写一篇新的。这个月还有些看了一些的书，比如《他改变了中国——江泽民传》，《未来简史》（好吧，这本其实十月就开始翻了），以及高德纳的《研究之美》（这本需要静下来拿纸币慢慢演算着看），哦哦还有一本《超负荷的大脑》。这个月还买了《穷爸爸富爸爸》，决意看完这些之前不去碰那些没翻的书啦。一月份至少要把这里的三本看完吧，。， 其实数理统计学简史也翻了一点，本月参加比赛的初赛阶段周冠军的奖品，定价168的封面很好看的深度学习也到了，不花钱弄到书的感觉真好。最近种草甲骨文系列丛书，但是看着都挺贵的，希望明年618的时候看看会不会降价，不过讲真，买了没看的书还有那么多，真的要去买这个么。。。 闲闲碎碎讲了这么多没条理的东西，希望一月份二月份能多看点书吧。

大概是今年五月份就开始看这本书了，初时饶有兴趣，手不释卷，虽然作者董教授用词极文，不多时竟也读了大半。然而其后毕业季到来，各类纷杂接踵，也就暂时放下来，没想到完成全书的阅读，已经是六个多月后了。本来想记些所谓读后感之类的杂思，但是这本通识书的内容又有些广，若是记载所绪难免不成章法如若流水，倒不如基本遵照原书架构，三分概括五分总结，再留两分给给不知所云吧。 首先，是凝固的史诗这里从巴黎圣母院铺陈开来，雨果认为，建筑和文字的发端别无二致。 字母 — 石头构词 — 堆叠书写 —建筑 以上三类对应关系都能显示出文字和建筑的共性，实际上除了最初的遮风避雨外，建筑一直是表达的一种，是有宗教信仰的人用一种永恒的，可见的，可触摸的方式，把那些漂流不定的象征固定下来，知道可以在一个时代的总体观念的指导下，写成这些奇妙的石头史书。在历史的开端，那些建筑的庙堂本身就是圣言，金字塔是法老的谶言，所罗门的神庙也就是圣书本身。建筑的特征（风格）也就表现了民族的特征，也表达了民族的思想。雨果总结了古代的三种体系，埃及（希腊），印度（腓尼基），罗曼（哥特），在每组的前者中（埃及/印度/罗曼），建筑表达 ...

概述对于这一章而言，首先介绍了几种不同的分布，包括二值乃至多值离散的分布以及高斯分布。这类方法统称为参数分布，因为这些分布通过若干个参数（例如高斯分布的方差）就导出整个分布。那么对于这些分布，重要的就是求出这些参数，对于频率学派，我们通过优化某些指标来得到参数，比如使用极大似然函数。对于贝叶斯学派，我们引入基于参数的一个先验分布，然后通过贝叶斯定理和给出的数据来计算后验分布。 一个比较直观的不同是，频率学派在表示要求参数时使用的是$\hat{\theta}$,贝叶斯学派用的是$p(\theta|X)$这里我们会引入共轭先验的概念，给定似然函数，这个先验会使得后验分布具有和先验类似的函数形式，这会大大地方便贝叶斯分析。需要指出的是，我们通常会说分布a的共轭分布是b，其实是不科学的，更严谨的表述是对于给定形式的后验分布b的某个参数的先验共轭分布是a。我们在说beta分布是伯努利分布的共轭分布时是可以接受的，因为伯努利分布只有一个超参数，但是对于多于一个超参数的分布时这么表达就可能有歧义。 下面先概括下这一章的内容吧。 2.1介绍了二值离散随机变量的一些分布： ...

本来读书月报的事是上个月就想开始做的，但是十月份既忙且懒，所以也就搁置了。也罢，就从这个月开始吧，稍微记录一下每个月读的非（太过）专业类书籍。 本月总共读了5本书，很惭愧的是，其中四本是虚构性小说，剩下一本是日记。全家福 阿加莎克里斯蒂看了四本侦探小说，全部来自“侦探女王”阿婆————阿加莎克里斯蒂，分别是： 尼罗河上的惨案 东方快车谋杀案 斯泰尔斯庄园奇案 怪屋 平时也比较忙，。，这些基本上都是在火车上或者中国特色社会主义课上消磨完的，10月份读了第一本阿婆的小说，觉得不错，由此又购入几本，竟一发不可收拾。斯泰尔斯庄园奇案是波洛先生第一次出场，形象和福尔摩斯大相庭径————矮个子，精雕细琢的小胡子，爱戴一顶圆顶🎩，仔细打理自己的形象，操着一口是不是冒出几句法语的英语，但是往往又痛恨别人把误认为法国人。最重要的区别是，波洛大侦探在第一次出场时就已经是一个比利时小老头了（虽然他自己还会用染发剂试图遮盖岁月的痕迹），而不是其他正值壮年的侦探；也因为如此，阿婆在让波洛病逝时，读者并没有像对待福尔摩斯的死亡一样怒不可遏乃至威胁柯南道尔本人，而是坦然而怅然地表示哀悼 ...

之前学习线性代数也刷了不少遍了，最近又频繁用到，发现理解的还是不够深，把之前写的笔记翻出来汇总一下。线性代数要旨（一）线性方程组/矩阵代数/行列式线性代数要旨（二）向量空间/特征向量/正交性/最小二乘法/二次型线性代数要旨（三）线代四大基本定理/可逆矩阵定理 线性代数小结 ‘线性代数及其应用笔记’具体数学 线性代数小结 ‘线性代数及其应用笔记’ 线性代数四大基本定理 及其证明 秩定理 子空间正交关系 奇异值分解 子空间基定理 可逆矩阵定理 线性代数四大基本定理 及其证明 线性代数中有个四大基本定理的说法，说是线代最为核心的内容，其中三个定理基本上是得到公认的，但是还有一个就众说纷纭，这里选择较广流传的版本，当然，每个定理都有许多的等价描述，这里也就挑我比较熟悉的了。 秩定理对于 m\times n矩阵A，有 rankA+dimNulA=n这个定理可以是说是最基础的了，也有把 rankA替换为 dimColA的，该定理主要描述了向量空间的子空间的维度关系。（ch4的笔记心得拾遗里面有从变换角度出发的等价解释o） 证明： 这个证明简单说一下。对A进行行变 ...

之前学习线性代数也刷了不少遍了，最近又频繁用到，发现理解的还是不够深，把之前写的笔记翻出来汇总一下。线性代数要旨（一）线性方程组/矩阵代数/行列式线性代数要旨（二）向量空间/特征向量/正交性/最小二乘法/二次型线性代数要旨（三）线代四大基本定理/可逆矩阵定理 ch1 线性代数中的线性方程组 ‘线性代数及其应用笔记’具体数学 ch1 线性代数中的线性方程组 ‘线性代数及其应用笔记’ 1.1 线性方程组 1.2 行化简和阶梯形矩阵 1.3 向量方程 1.4 矩阵方程Ax=b 1.5 线性方程组的解集 1.7 线性无关 1.8 线性变换介绍 1.9 线性变换的矩阵 心得拾遗 错题摘录 1.1 线性方程组线性方程组：包含一个或几个有相同变量的线性方程 解集：方程组所有可能的解的集合 若两个方程组解集相同，那么就可以说这两个方程组等价 线性方程组的解有三种情况 1. 无解 2. 有唯一解 3. 有无数解 其中2，3称为方程组相容，1称为方程组不相容 将方程组中未知数前系数提取出来的得到的矩阵称为系数矩阵，系数矩阵加上方程组右边的常数列就成了 ...