陆陆自习室

又到每年读书总结的时候了，今年读了43本非专业类书籍，个人觉得top5为： 悉达多 独裁者手册 反物质：世界的终极镜像 西太平洋上的航海者 杀死一只知更鸟 22年注定是不平凡的一年，无论是国家还是个人都有不少波澜，个中是非曲直，难以论说。忙里偷闲，多读点书总是没坏处的。 今年把银河帝国包括机器人系列和基地系列都刷了一遍，总体还是当得起科幻三巨头的名声，但是天才神纵如阿西莫夫，也有滑水之作。也可能是时间过去已久，其中许多概念在电影/电视剧中早有耳闻，因此不觉新鲜，没有读三体时的震撼来得大。 今年读的阿婆的几个作品也有些乏善可陈。 黑塞的悉达多是惊喜之作，大约18年的时候读了他的东方之旅感觉不错，但是总觉得有些晦涩，因此一直也懒得读其他。今年花了两天读完悉达多，受益颇多，但又难以言说。 杀死一只知更鸟让我觉得家庭向的小说竟然也能到如此高度，佩服佩服。 独裁者手册嘛，不评价了。 反物质和西太平洋上的航海者是今年读的为数不多的科普向著作，一本是物理的前沿探索，一本是社科人类学的奠基之作，都值得一读。

（这本书前后竟然断断续续读了六个月，2021/11/19-2022/05/20） 历史的革命: 首批城市的出现美索不达米亚：从部落到最早的帝国有史以来第一座伟大城市出现于今天的伊拉克南部，古希腊人称之为美索不达米亚（两河之间的土地），这座城市叫做乌鲁克城（众城之母）。在BC3000左右，乌鲁克城曾是四五万人的家园，城墙周长11公里，方圆6平方公里。城市文明的兴起原因至今无人能够确认，科学家猜测是当地的一场环境危机迫使苏美尔人超越小门小户的思维局限，携手来构建堤坝水渠等水利设施来管理他们的河水，这就要求专业的工匠和劳动分工，从而萌生了等级模式，职业化和互为所依的关系，而这些成为人类文明屹立于世的基础。 与乌鲁克同时期的另一城市，布拉克城（位于今伊拉克境内）也开始兴起。他们都显示出早期城市的某些特点： 集约化的农业提高了粮食产量 神庙成为城市的权力中枢 文字书写成为文明建立的基石（楔形文字） 宫廷（国王，卢伽尔，大人物）的权力慢慢变大以平衡神庙的权力 埃及：璀璨夺目的千古绝唱BC3150，一位统治者将尼罗河上下游合二为一，埃及以一个整体的面貌呈现出来。埃及的国 ...

我们为什么要睡觉这是一本关于睡眠的科普书籍，列出来睡眠相关的很多研究结论，并给出了一些提高睡眠质量的tips，对于部分重要的摘录如下： 人类的睡眠类型，即习惯早睡早起还是喜欢熬夜，是由DNA决定的。即夜猫子的形成是基因使然而非意志缺陷。 咖啡因的半衰期是5-7个小时，即7个小时后，仍有50%的咖啡因具有活性。 人类的清醒与否主要受两个因素影响，昼夜节律（清醒驱动）和腺苷（睡眠驱动），且二者并不会同步。昼夜节律随昼夜呈正弦分布，腺苷则会在清醒时逐渐累积，在睡眠时不断下降。 睡眠的阶段主要分为两类，快速眼动睡眠（浅度睡眠）和非快速眼动睡眠（深度睡眠），二者在一个完整的睡眠周期中大概每90分钟轮替出现一次。 水生哺乳动物（海豚，鲸鱼）以及某些鸟类都可以用一半大脑进行睡眠，另一半大脑保持清醒。 双相睡眠（即除了晚上的长时间睡眠，中午进行一小段时间睡眠）对人类健康和寿命延长大有裨益，但是工业社会到来让大部分人只能进行单相睡眠。 孩童的睡眠对大脑发育很重要，老年人和中年人需要差不多一样多的睡眠，但是没能力做到。 连续10天每天睡6个小时对人反应的损害=连续24小时不睡 ...

今年总计读了43本书，个人最喜欢的TOP5是： 夜晚的潜水艇 陈春成 旧制度与大革命 托克维尔 金雀花王朝 丹 琼斯 双城记 狄更斯 童年的终结 克拉克 今年看了不少科幻，尤其是克拉克的作品，以及厄休拉 勒谷恩的三部曲，其中最为叹绝的是《童年的终结》，但是其他的就有那么点乏善可陈。可能是这些作品的很多概念都被许多科幻电影提前“剧透”过了，因此没有那么惊艳。对于载誉颇多的《美国众神》，我也很难理解其中的精妙，可能是缺乏美国生活的那种语境。其他的文学作品都是随意挑着看，双城记和断头王后都是因为有一阵子对法国大革命时期感兴趣所以找来看，当然也看了73同志推荐的旧制度与大革命。还有一本大部头的《法国革命史》稍微翻了翻，实在没有耐心看完。今年文学作品里最大的惊喜就是陈春成的《夜晚的潜水艇》，很难想象这是作者第一部出版的作品。看完之后我发了朋友圈，称之为用汪曾祺的笔触写博尔赫斯，其后一个月，在道长的八分里也听到类似的描述，可谓英雄所见略同了。期待他以后带来更多的惊喜。 历史方面，今年主要感兴趣的都是欧洲史，丹琼斯的三部曲看完之后，对双革命时代（英国工业革命+法国大革命）又产生强烈 ...

【注意】：此篇仅为个人笔记备忘之用，可能存在缺乏必要信息、逻辑不连贯、缺少引用等问题，仅供参考。 基本蒸馏Why：用学生模型去学习教师模型的泛化能力，而不是仅仅拟合训练数据。How：学生模型的loss中同时加入和教师模型的拟合项。 L=(1-\alpha) C E(y, p)+\alpha C E(q, p) \cdot T^{2}其中前一项拟合hard label，后一项拟合soft label，即教师模型的输出概率。$\alpha$为蒸馏loss权重。为了控制教师输出概率的平滑成都，通常教师模型的softmax需要加一个temperature （T) 超参数。 q_{i}=\frac{\exp \left(z_{i} / T\right)}{\sum_{j} \exp \left(z_{j} / T\right)}不难看出，$T=0$时，就是一个Kronecker分布（one-hot)，$T=+\infty$时，就是一个均匀分布。 蒸馏BERT由于BERT很大，所以实际应用时需要瘦身，也出现了不少针对BERT的蒸馏技术。 Distilled BiLSTMDisti ...

国庆期间，突然对共和国十大元帅建国后的遭遇感兴趣，因此简单搜集了一下，罗列如下： 朱德建国后任军委会副主席，49年11月任中纪委书记至55年，54年任国家副主席，59年任人大常委会委员长。59年7月出席庐山会议时，在批评彭德怀方面被毛泽东批评为“未抓到痒处”，9月被迫在军委扩大会议上做检讨。文化大革命期间，在1966年5月参加中央政治局扩大会议时遭林彪康生批判，称其“有野心”，“想黄袍加身”，67年朱德在会议上支出文化大革命已经开始破坏生产需要注意，遭到江青等人污蔑为“大野心家，大军阀，黑司令”。之后朱德一直遭到政治迫害，不过收到毛泽东的有意保护，一直位列中央政治局。林彪叛逃后，朱德致函中共中央、毛泽东，表示“坚决拥护主席和中央对林彪叛党集团采取的一系列正确措施；坚决拥护中央撤销军委办事组，并责令林彪的死党黄永胜、吴法宪、李作鹏、邱会作停职反省的决定；坚决拥护成立中央军委办公会议和中央专案组。”1973年8月，出席中共十大，当选中央政治局常委。1974年8月，到秦皇岛视察海军舰艇部队。1975年1月，主持第四届全国人大第一次会议，继续当选为全国人大常委会委员长。 1976年1月 ...

著名旅行家阿瑟扬离开巴黎是在三级会议召开后不久、攻克巴士底狱前不几天；他在巴黎刚刚看到的景象同他在外省的见闻形成对照，使他吃惊。在巴黎，一切都在沸腾；每时每刻都有一本政治小册子问世：每周甚至发行92册。他说道：即使在伦敦，我也从未见到与之相仿的出版发行运动。但在巴黎以外，他觉得一片死气沉沉；人们很少印行小册子，根本没有报纸。可是外省民情激动，一触即发，只是尚未采取行动；公民们即便有时集会，也是为了听取巴黎传来的消息。在每座城市，阿瑟.扬都询问居民们打算做什么。回答到处都一样，他说道，我们只不过是一个外省城市；必须看看巴黎是怎么干的。他进一步说道：这些人甚至不敢有主见，除非他们已经知道巴黎在想些什么。 1770年，当巴黎高等法院被撤销时，高等法院的法官们丧失了他们的地位和权力，但是在国王的意志面前，没有一个人屈服退让。不仅如此，种类不同的各法院，如审理间接税案件的法院，虽然并未受到株连和威胁，但当国王的严厉处罚已经确定无疑时，他们情愿挺身而出，同受处罚。还有更精彩的事例：在最高法院出庭辩护的首席律师们甘愿与最高法院共命运；他们抛弃荣华富贵，宁可缄口不言，也不在被羞辱的法官面前出庭。我不 ...

What is the Effect of Importance Weighting in Deep Learning?Jonathon Byrd & Zachary C. LiptonCMUICML 2019 We present the surprising result that importance weighting may or may not have any effect in the context of deep learning, depending on particular choices regarding early stopping, regularization, and batch normalization. Condition: Deep Model / Classification / optimizer SGD Conclusion L2 regularization and batch normalization (but not dropout) interact with importance weigh ...

艾瑞克·霍布斯鲍姆（Eric Hobsbawm，1917年～2012年10月1日）是享誉国际，备受推崇的左翼近代史大师。最近读了他的年代四部曲，简单做一点笔记如下。 1789-1848：革命的年代这一年代始于兰开夏建立了现代世界的第一个工厂制度和1789年的法国大革命为开端，而结束于第一个铁路网的设立和《共产党宣言》的发表。作者所言的双元革命，其一是以英国工业革命为开始的资本主义技术与经济变革，其二是以法国大革命为代表的政治体制革命，欧洲孱弱空虚的封建君主制无法解决新时代的种种问题，因而民主共和开始走上历史舞台。这双元革命更是进一步催生了民族主义，不少知识分子开始意识到民族问题，虽然对本民族的定义往往充满模糊甚至是由敌人完成定义的。在西欧美国等较早开始工业化的国家，大量农民被迫迁往城市变成工人，而工人无产阶级，虽然其绝对数量在世界上仍然占极少数，但是其代表的政治力量已经引发了各界的关注。 在艺术领域，这是一个人才辈出的年代，无论是文学，音乐还是美术，都得到了极大发展，浪漫主义开始盛行。而在科学领域，虽然物理学界整体还没有走出牛顿的桎梏，但是电的应用已经出现了曙光。许多其他科学 ...

考古家眼中的全球史，提供了一种不同于关注于成文史的视角。但是作者的写作里个人风格有点重，不够平实和客观。ps.翻译也有多处错误，不是很流畅。另外发现，《人类简史》里的很多观点在这本书里也有印证。 简单做点笔记。 棍棒和石头：技术的开始大约在距今200万年前，有一部分古猿开始了直立行走。这一演化并不常见，因为古猿主要生活在森林中，直立行走在这种情况下并不会有任何优势，相反，倒是有不少劣势。但是这段时间内，由于气候变化，森林面积开始减少，稀树大草原的面积开始扩张，这些人类祖先需要频繁穿梭于几片森林，由此直立行走反而成为了这种情况下的优势。而且，直立行走解放了双手，使得双手可以携带物品，并提高手的控制精度，沿着这条路下去，人类开始了工具的使用，这也是作者所谓“第一次开始：技术的开始”。 最早的工具是石头和棍棒，然后人类开始学会使用火，火的利用使得人类能够食用熟肉，这又使得人类大脑的发育得更好，人类的先祖成为最聪明的树居灵长类动物。同时，直立行走使得骨盆变窄，人类的临盆时间大大提前，因此，每个婴儿都可以说是早产儿。相比于动物婴儿一出生就具有较高的成熟度，人类早产儿需要大量的照顾，科 ...