Terms

ETS

Educational Testing Service，美国教育测验服务社。
他们主办，负责出题、提供考试软件、评分等，中国由国家教育部考试中心（NEEA, National Education Examinations Authority）承办，组织考试。

iBT

Internet Based Test，2005年推出的在线考试形式。

The TOEFL iBT test measures a test taker’s ability to combine listening, reading, speaking and writing skills where it matters most — in the classroom.

听、说、读、写分别30分，总分120，考试过程中可做笔记，主要考察的是考生是否能应付学校生活中的语言实际需求。

刚出时4小时，之后改成3小时，上回我第一次裸考托福（Test Date: 2023年9月9日）之前刚改成2小时。

读/R

两篇。

几条经验：

1. 实在不在状态读不进去的题，先读一下每段第一句话提状态；
   • 每段在草稿上记第一句话；
   • 当前段题目可能反映主旨；
   • 6选3直接对应主旨段落。
2. 6选3大概率是按文章结构，每部分一个总结句；
3. 文章结构有以下几种：

不过我立刻发现李文勍这个结构分类很局限，比如49-2和50-2这两篇历史文章，都是按时间顺序写的，给它归类为什么总分、总分总都很牵强，很片面。

49-2: 5个段落，按照时间顺序组织，“发明前→发明→发展→影响”。

1. 公元前200～300讲到1150再到15世纪纸张演变，从莎草、牛羊皮到中国造纸术传入欧洲，便宜纸张开始普及，主要讲的是印刷术，纸是物质基础；
2. 两个德国金匠发明活字印刷，有3个优点，另外印刷Gutenberg圣经；
3. 德国的印刷产业化，旧的手抄本提供印刷机做不到的奢侈品；
4. 国际竞争，德国意大利字体；
5. 广泛传播，对欧洲和世界的影响。

50-2: 这篇可以被认为是总分，但2到5段也是按时间顺序组织的，“”。

1. 巴西从葡萄牙独立没有血腥革命，有两次失败的conspiracies，总结是如果不是发生了一些意外事件，可能会更晚独立；
2. 然后按时间顺序开始讲到底怎么独立的：法国入侵葡萄牙导致葡萄牙王室逃到（这里用flight表示逃亡）里约热内卢Rio de Janeiro，葡萄牙开启若昂 Joan 国王 devise 的双君主时代 dual monarchy（这人真牛，法国入侵让权，巴西独立又让权），若昂人在 Rio de Janeiro，巴西由此开始开放和发展经济，但是也因此开始依赖英国，这里有个没见过的说法 “substitution of X for Y” 用 X 取代 Y；
3. 巴西的发展导致🇧🇷和🇵🇹精英的怨恨和冲突加剧；
4. 1820年葡萄牙革命导致巴西跟宗主国 mother country 决裂，葡萄牙要求若昂回国，结束了短暂的双君主制，但他把他儿子留在了巴西，让他儿子领导巴西独立并成为国王；
5. Pedro佩德罗找准时机，巴西独立。

这个故事很有趣，借此我还查了一下巴西的殖民历史，1492年西班牙先登陆了南美，占领大部分南美地盘，1500年葡萄牙登陆巴西，把西班牙没殖民到的地方殖民了。
当时南美土著有五六千万人，殖民者来后一百年，他们死了90%。
但“大灭绝”（The Great Dying）并不主要因为屠杀和饥荒，而是因为原住民对天花、麻疹、流感等欧洲疾病没有免疫力，所以大规模死亡，巴西现在土著只剩1%，在亚马逊的原住民保留地。

另外有几个早期的经验：

1. 做每一篇都计时，18min 一篇；
2. 每天都要背核心单词和学科分类单词；
3. 每1～2道题对应一个段落，看题目问的啥确定段落主旨；
4. 抓主谓宾“谁对谁做了什么”和“动作的结果/影响”就能快速拆解句子；
5. 后期要尽量往12min一篇努力。

听/L

2个对话，3段演讲。

托福听力给淇姐和cc98速通哥的感觉都是，大结构比细节更重要，可以忽略小细节，且不需要推理，都是直来直去的，以听懂一篇文章的逻辑和主要意思为日常练习重点。
根据我的cc98资料姐，用清华李文勍的mooc：

1. 想拿高分conversation一定不能错，先从简单的conversation练起，都是美国教授/服务人员帮助学生的场景；
2. 精听是唯一搞定托福听力的捷径，我还有9天精听时间。
3. conversation和lecture都是有明显层次的：
   • conversation 5 道题，基本上按顺序有 5 个层次，尤其注意比较的地方。
   • lecture 6 道题，也会有师生对话，无论是师生问答还是老师自问自答，很可能都会考到问答总结。

结尾考研专注度的问题我容易听不见，必须从头到尾保持专注，cs231n一节课一俩小时我都上下来了，这5分钟都坚持不住的话，上鸡毛？

首的问题解决了，我现在总听不到尾。

有质疑实验的问题大概率会考，他们是怎么质疑的？不能复现？不能证明假设？还得练…

每篇听力做这两件事：

1. 精听后，把原文拿出来，找Question出现的位置；
2. 画出如下文章结构图（跟阅读一样，可能分不出cases，case可能在很开头也可能到结尾才说）：

说/S

1独立，2一篇学生proposal或学校announcement+学生讨论听力，3一个学术名词，阅读是定义，听力是professor的例子解释，需要压缩这个故事切题，4一个lecture听力，有两个分支实例，把实例复述好就行。
自信，调动情绪，对分影响很大。

TASK1语料

泛用理由（每一个都准备例子补全细节，如果时间不够想到第二个关键词，也可以只说一个理由但说一堆细节），后面独立写作有些也许也能用——
如果题目对我来说如果比较难选，可以先说一个Yeah, I mean…比如63先说要有discipline/regulation，再套我真正想套的下面的观点。

1. 开拓眼界（广度）67，66，40（选一个国家或文化这种题，得改改？）
   • 不用broaden my horizons。
   • 用“Increase my exposure to different sides/perspectives”。
   • xxx (Engaging in discussions/cooperation with others) would increase my exposure to different perspectives, which helps me see the issue from all sides and leads to more informed views.
2. 加深理解（深度）
   • dig deeper into the topic
   • By xxx, I can dig deeper into the topic, which helps me to see the issue from all sides and leads to a deeper understanding.
3. 感情/关系（故人）69，63，61=58（宿舍选择）
   • strengthen our relationship.
   • create lasting memories
   • time flies by but our bond keeps strong becasue of (Activity)
4. 交友/人脉（新人）跟1.开拓眼界接近，66，61=58（宿舍选择）
   • meet new people and make friends
   • discover life possibilities and ways of living
   • share resources
   • study and career advice
   • release stress, encourage me during tough times
5. 金钱（赚钱、省钱）68(disagree)，65(agree with 钱=成功，然后说even though some other people will argue that happiness…, but as a student(承认片面，然后陈述自己的片面观点))，60，59(实习赚钱)
   • (1)财务角度很重要
   • (2)现状（预算紧张）
   • (3)通过某行为改善经济状况
   • (4)具体用途/投资方向
   • 个人：
     • (1) It makes more sense financially.
     • (2) As a student on a tight budget, I need to be very careful with my spending.
     • (3) If I could earn some extra money / save money by …, this would help me stretch my budget much further.
     • (4) cover basic needs, afford housing costs, pay for emergencies.
   • 学校：
     • (1) It makes more sense financially.
     • (2) Educational institutions constantly face financial pressures and need to stretch their budgets.
     • (3) xxx. This additional income stream / cost savings would really strengthen the university’s budget.
     • (4) upgrade technology, expand library resources, and improve campus facilities.
6. 借鉴反思（犯错、历史、名人）57犯错
   • (1)反思学习的重要性
   • (2)避免重复错误
   • (3)汲取正面经验
   • (1)This(Making mistakes(57 from quick decisions)) gives us/me a really good chance to (think about … )/ (learn from what happened before.)
   • (2) not to repeat the same mistakes
   • (3) draw valuable lessons from
7. 电子设备（电子设备）64，62(别多想，就硬套缺点)
   • (1)健康问题
   • (2)社交能力下降
   • (3)分心/效率问题
   • (1) really worried about health issues that come with too much screen time. (have a bad impact on, 或者直接 harm your health)
   • (2) On top of that, everyone’s just stuck indoors, losing their social skills, and dealing with sleep problems and eye strain.
   • (3) On top of that, You just can’t focus properly when you’re constantly getting distracted by notifications and apps.
8. 放松&减压（任意能往上靠的）63(老师对学生友善chargin students’ mental battery, focus on the classroom with way more energy)，61
   • (1) 情绪调节
   • (2) 恢复学习和工作动力
   • (1) It’s like hitting an emotional reset button - you go from stressed to chill in no time
   • (2) It’s like charging your mental battery - you come back with way more energy.
9. 聊天话题（任意能往上靠的）
   • (1)缓解社交焦虑
   • (2)建立社交连接
   • (1) You’ve got something in your back pocket when the chat gets awkward, you never have to panic about what to say next.
   • (2) Shared topics are like social magnets - they pull the right people toward you.
10. 能力（任意能往上靠的）67，64，57，56
    • X(activity) provides the perfect opportunity to help people cultivate Y(quality),
    • which would play an important role in their future.
    • For example, … 跟小站试听一样举例，when … I did X(activity), then when I encounter … I found a way to deal with … 或者 deal with … pretty easily.（可以缩短只说未来有这个能力可能会怎样）

模版

task1:观点+理由+例子（时间够说两个，时间不够把一个说完整）
task2:
     The student proposed to... because...(理由太复杂就省略)
     The university plans to...because...
     阅读一定要把两个reasons看明白，看明白之后能记原文就记，方便直接复述不再组织语言；
     The man/woman likes/doesn't like...First off...Besides...
     听力部分一定要跟阅读两个点一一对应，每个原因也都是主题+理由，必须记下来主题，理由没记下来可以用其他句子填进去。
task3:
     Well, the reading passage talks about... which means... 
     定义句一定要记清楚；
     The professor expands it with the example of ...
     开始讲故事，用When等词串联时间节点，把故事大致讲清楚；
     example里会有跟“concept”无关的细节！比如聊“comfort zone”，professor的朋友在工作一段时间后放弃了尝试dream job的机会，那example里他在当前工作怎么一开始not good at，后来又如何good at这都不用讲。
task4:
     The professor talks about.主题
     尽量简短,忽视背景信息的讲解，前几十秒理解主题能简要复述就行；
     One strategy/... is ...
     前30秒，比如salesman策略这个题，一句话说明白 is pointing out special features of product，之后一直讲例子；
     Another strategy/... is ...
     后30秒，一句话说明白 is demonstrating the product，之后主讲例子，顾客担心 portability，就演示怎么transport。

关于task4我引用不爱酸苦辣的笔记：

写/W

1篇综合写作（读+听+写），1篇独立写作，类似口语task1。

独立写作最大的技巧是多看范文，综合写作跟口语task2不一样，口语task2 lecture可能赞成可能不赞成 passage，但综合写作一定不赞成，而且开篇和三个点的结构固定一一对应。听读篇幅都是300字，最好也要写到300字（它的150～225要求已经是从2006年沿用至今）。
比例大概是复述passage：复述lecture1:～1.5，详尽写听力是怎么反对阅读的，听力部分占分多，阅读只占20%，听力40%，之间联系20%。

范文：https://www.toeflresources.com 。

integrated

根据Vince和cc98总结一套我自己的模版：

The reading discusses [Reading’s General Stance/Topic]. In the lecture, however, the speaker challenges this perspective, contending that [Lecture’s General Counter-Argument].

Firstly, the reading asserts that [R1], positing that [R1-explanation/details]. In contrast, the lecture disputes this assertion, maintaining that [L1].

Secondly, the reading suggests that [R2], further illustrating that [R2-explanation/details]. Nevertheless, the lecture refutes this suggestion, arguing that [L2].

Thirdly, the reading proposes that [R3], citing that [R3-explanation/details]. However, the lecture counters this proposal, emphasizing that [L3].

1. 指代“文章”只用“reading”，指代“音频”只用“lecture”（long serious speech）；
2. 几种总结topic的说法：
   1. 假说：“theories regarding …”；（72，71，69，68(negatives底片拍摄者)，67…）
   2. 解决问题：“ways”；（75，73…）
   3. 分析利弊：“advantages”；（70，66…）
   4. 或者可能上面有一些我看漏的，是只有一个theory，提出三个论据来佐证？
3. according to gemini，thirdly比finally要好。

一定要切题，跟高考语文一样，首要是别跑题。

阅读的部分少写，听力的部分多写，我阅读部分填充太多了。可以用阅读的部分反着说充实听力内容，还欠练。

academic

1. 不要有口语化表达，there’re, be going to(改成will)这种；
2. 其他很多错误记在本子上了，就是得多写多错多改正…

学术写作/独立写作也来套模版。

先来八道题看看都长什么样：

1. 社会科学：
   1. labor shortages 劳动力短缺后，企业要竞争 compete with one another，企业要怎样 attractive to potential employees.？
      1. 同学A:location
      2. 同学B:food
      3. 不限选项，任答原因
   2. develope deeper, closer relationships with a select few 和 increase the number of friends，哪个更好？
      1. 同学A:朋友多好
      2. 同学B:朋友少但亲密好
      3. 二选一
   3. foundational knowledge数理化还是nurture creativity艺术课对孩子更好？
      1. 同学A:数理化好
      2. 同学B:画画、音乐好
      3. 二选一
   4. 我艹？！我5-25考的原题居然在这里面？！
      1. 说的是一个full-time position给two part-time workers做，所谓job-sharing，你觉得好不好？
      2. 同学A:不好，容易乱套，每天谁干什么搞不清楚；同学B:很好，时间上很方便，可以空余时间发展hobbies和take classes。
      3. 二选一
2. 人文科学
   1. Should schools limit the teaching of fictional texts in favor of teaching more practical, nonfiction texts? 不要教诗、小说、虚拟故事。
      1. 同学A:应该对自己负责，学习天下大事成为良好市民。
      2. 同学B:虽然读书没有直接影响他，但是他觉得读书好。
      3. 二选一
   2. set a minimum age for when children can have a mobile phone，给孩子多大自由？给孩子拥有手机设置年龄限制？
      1. 同学A:应该设置，10岁以下都没准备好
      2. 同学B:不设置，小孩需要手机联系父母，比如紧急情况
      3. 二选一
   3. celebrities还是ordinary ppl来宣传商品？宣传商品是 promote a product，用的是晋升这个词。
      1. 同学A:普通人，比如衣服广告，只有卖家秀不够，要有买家秀
      2. 同学B:名人，吸引attention就是最好策略
      3. 二选一
3. 自然科学
   1. How much can individuals help solve the water pollution problem compared with large institutions such as corporations and governments? 相比企业和政府，个人多大程度上能解决水污染问题？
      1. 同学A:个人影响很小，大头是工厂。
      2. 同学B:个人很关键，是 the first step，我们自己不丢有害化学元素且清理身边的水道，这很 inspiring，或者用社交媒体呼吁别人。
      3. 二选一

基本都是二选一，只需要套模版，改上题干、题里学生的观点、自己的理由和例子就行了。

1. 让步认可：[同学] presents a compelling argument in favor of [同学的观点].
2. 让步理由：(不可否认) Admittedly, [同学的观点] is an excellent means to [同学观点的好处].
3. 转折观点：However, considering [插入初步宽泛理由], I am inclined to prioritize [我的观点].
4. 语料理由：In my opinion, [我的观点] can [初步理由].
5. 详细解释：这个初步理由太抽象，用从句+ing状语之类的复杂句式，具体解释理由，
   1. 比如初步理由是：increase exposure to different sides
   2. 可以具体化为：
      • New supportive friends,
      • as potential resources,
      • not only will give me a great way to exchange study and career advices,
      • but also can help me discover life possibilities and ways of living.
6. 论据细节：用记叙文六要素，比如人物+原因+发展+结果，编一个靠谱的。
   • For example, both faculty and students in our Computer Science Department …
7. 总结观点：Therefore, I firmly believe that [我的观点] will [理由].

独立口语的语料其实还是能用的，再补充几个：

1. 效率(time/efficiency)
   1. 节约时间：saves a significant amount of time / complete tasks more quickly
   2. 资源利用：utilized to their fullest potential / efficient allocation of resources
   3. 简化复杂性：simplifies complex operation / reduce unnecessary complexity
   4. enhance efficiency, save time
2. 安全
   1. 防护作用：robust layer of protection
   2. 降低负面可能：minimize exposure to danger/harm
   3. 身心健康：physical and mental well-being
   4. ensure safety, prevent accidents/injuries/harms
3. 交流
   1. 建立联系：build strong(er) connection / lead to deeper bonds
   2. 解决问题：resolve problems, misunderstandings
   3. 分享思想：sharing ideas, perspectives, insights
   4. facilitate effective communication, enhance collaboration, promote information exchange

（可能会用到的词——跨学科：interdisciplinary / multidisciplinary / cross-disciplinary，注意discipline既是纪律，又是学科，学科别用subjects，用disciplines；实习 I intern at xxx company）

历年真题

正在服役的题库里泄露出来的真题。可能包括一些退役的但是没有成为TPO？

OG

The Official Guide to the TOEFL Test，官方出的一本教程。

机经

考生对考试的回忆。口语第1写作第2一般比较准确？

TPO/official

ETS卖的官方练习题，退役的原题，可以参考出题思路，题型、话题、难度可能都跟真实有差距。

托福小站macOS版里有54套题，从新东方新航道买TPO？最新都到 80 了。

做英文题的过程确实能学到东西，比如我花两年读的这篇小站54，The Commercialization of Lumber。
band saw 带锯，以及原来因为运输困难，美国五大湖附近的地方砍木头都要等冬天路上湖上结冰了才开始大规模工作，如果暖冬干冬就gg。sleigh雪橇用来运输。
1h做41道题，我的阅读速度真是需要提升，平常查东西看到长篇文章都是直接跳过找关键词的。
54R得24分，跟2023-9-9（用英文玩了一整年游戏，连托福考几道题考多长时间都不知道就去裸考59）差不多水平啊。这不够，4个24才96，每个部分的目标都要是27～29才能稳过95。

可以说从22年到25年3月25号，我是花了3年才第一次正经做TPO，而且只有54R没有L/S/W。

看了一周经验贴，刷了5套tpo，看了一些课，20天准备时间紧张就紧张在，前半段都在预热，都在熟悉这门考试（虽然我第二天就考88）。
不过好在跑上实验了，考前再跑好剩下的stage3(CoT+instructions)和conditional mattergen就有数据了，有实验结果就能写得完论文。

6-5:

1. TPO套号与难度无关；
2. 听力要刷的学术场景不是按高频，而是按自己的错频，学术高频参考cc98推荐的林强课程：
   1. 生物出现频率最高，每套题都有？动物植物微生物；
   2. 艺术其次；
   3. 天文地质（不是地理）。
3. 每套题的难度=文章难度+题目难度，是方差很小的，难度的判断标准只有错题量而非认为自己听懂与否，错了题就说明自己在这套题的考察方面有不足。
4. 用小站APP按照学术类别练题，这么练4天到周日，剩下5天再刷套题；
5. 今天用TPO56～71的16套Speaking Task 1优化了一下我上面10个话题模板（其中两三个在我的习惯里用不到）；
6. 日常保持：200学术词，S/W，10道词汇题，number听力溜缝儿。
7. 不来北街咖啡这天就算白给，就算放假。（然而6-9开始放弃北街了）另外，感冒了且久坐后骶尾旧病复发了，希望不要影响考试。

托福100好处是题全、webapp、2小时题量，但有很多typos和一堆错误答案，最严重的是TPO74 W1综合写作reading直接给错了，没有第一段，第三段是其他文章里的。

听读学术主题频率

问了chatgpt、gemini、claude三个llm，得到的top5只有后几个顺序稍有区别，平均排序——

听力学术主题

阅读学术主题

听力练习顺序

小编似乎认为天文地质更难？还是说这类题大家错得多？

• 生物：
  • 45-lec2(又是态度题，又是结尾专注力不够导致漏听的细节，我错误率最高的绝对是态度题，全文和对应答案句子被我摘出来了，发现确实每个学生的提问都意味着深入，也很可能是Question位置；可以学一学关键词？),
  • 56-lec2(主旨和态度题错了，主旨题能错就说明没听懂，拉出来原文对应question句子精听；态度题又是出现在lecture结尾，但错误原因是纯没听懂，compel是强迫，compelling是有说服力的，选项里的incline to是倾向于，我想成了decline。另外，Q4关于尾巴我也没听到，排除对的。)
    • “—there’s no beak, the tail is long and bony(bone的adj.) the way a reptile’s is, rather than short and stubby like a modern bird’s.” 一些鸟、鱼的结构图我贴在学术词汇里。
• 文艺：
  • 50-lec3(错了个细节题5选3。一方面北街好吵，另一方面书名人名实在听不懂，这篇所有题我都没谱！注意强调重要性的词比如it’s really a key text because it’s one of the original realist work.)
    1. 引言： 从浪漫主义引出现实主义，给出定义和时间范围。
    2. 时代背景： 解释现实主义兴起的社会、政治和思想基础。
    3. 创作特点： 详细阐述现实主义的文学手法（真实性、客观性、人物中心等）。
    4. 代表作家： 介绍两位重要现实主义作家及其代表作。
    5. 总结： 强调其历史地位和对美国文学的影响。
  • 51-lec3(错了一个双选细节，本来选对了，又改错了，水彩画完给出版社继续画的部分没听到；听时想到了，人名多的题所有人名都在纸上用缩写记出来，比如JJA。这个题toefl100答案又错了(AB)，我选的是AB，正确是AD，实际上B虽然确实JJA会追踪鸟但跟他书里的illustration无关。另外，Q3批评他到底是artist还是naturalist这个我也没听到，蒙对的，critic(注意不是批评，是批评家、评论家，v. criticize, n. criticism)这类题我错误率很高!),
  • 52-2
• 天文地质：
  • 49-2, 55-5, 57-3, 68-3, 69-2, 71-4
• 对话：
  • 52-1(全对，但是有细节没听懂，比如one-on-one),
  • 68-1(错了双选细节题，exam period是老美的期末周，不是这门考试的考试时间)
    之前做过的懒得贴了。

6-9～6-13模考

1. 自己模考TPO46
   1. conv1错在没听懂 put on 是举办的意思，put on a whole range of other activities 举办一系列活动，a range of 是一系列；
   2. lec1错在没仔细听movie相关内容，切换话题的时候一定要注意，聊着聊着ants/birds突然聊到movie就要警钟猛鸣！这里说的是电影用计算机图形学渲染，用的就是swarm intelligence的3rules生成鸟群；
   3. lec2没错，但是从2nd theory(婴儿更多地看到抱他的父母左脸)到3nd theory(从用日光到灯光打光)的过渡我没听明白—— Exactly … Alright, what about the way the artist’s studio is organized, specifically the light source? 用what about开讲一个新理论。——由于多数画家右撇子，光从左边来比较方便画。
   4. conv2这种文艺历史题确实是我的弱点，没搞清她到底要写啥，查了才知道是学期论文term paper，其实就是期末大论文，错的这道题是没懂教授的要求：“But remember, I’ll be grading your paper based on the details you include. And at some point in your paper, you’ll want to focus on a particular event of the Revolution, like maybe the storming of the Bastille prison?” 说的是你论文里必须要写一个特定历史事件，不要 too broad for this assignment。
   5. lec3根本没听到法国政府的事，这一段制作过程根本没必要听懂 “The recipe was difficult. The stone had to be ground finely, not easy to do with a rock, then mixed with melted wax, resins and oils, wrapped in a cloth and knitted like bread dough.”，但这段没听懂直接影响到我后面两道题根本没心情听，无论如何能听懂多少听多少，全程保持专注理解整体讲了个什么事就行了。
   6. lec4，主要错在这个题了——没听懂整个课在讲什么。重听都没发现是在讲要不要取消penny nickel，最后才讲的是铜的其他用途。
      • 1美分 (Penny / Cent)
      • 5美分 (Nickel)
      • 10美分 (Dime)
      • 25美分 (Quarter)
      • 50美分 (Half Dollar)
      • 1美元硬币 (Dollar Coin)
      • 材质：copper, zinc, nickel
      • 经验1: 所有的But，Even though，Also，都是非常重要的过渡词。
2. toefl100真题2做得非常非常差，这个垃圾网站的音频也一直在卡顿
   1. conv1本来想选A，但实在太奇怪了，attend a lecture还要被“invited”？not open不应该是不被允许吗？所以选了“她觉得自己不是graduate或faculty水平不够”，其实这个说法不符合这个人性格。
   2. lec1错三道，心态崩了，考古题材，Roman Villas，听完才发现是三方面1.避暑胜地/皇帝个人表达；2.有个皇帝在villa别墅里实践建筑艺术；3.villa还是农场、工厂和渔场。两个实验那种题确实可能最后才分岔，但这道题是一开始就开始进第1/3个分支了。
      • 经验2: first这种词听好了，But it was only through… that… (通过…做了…)，而且又是But过渡到了experiment they did第二点，Also过渡到了第三点。
      • 证据题：So by piecing together this Information about the environment around the villa, as well as the size of the aqueduct. We can pretty safely assume that dye equations, estate was the site of a textile factory, one that probably employed thousands of people. 这之前说了河里的 sulfur 用来做纺织工厂 textile 染料。
   3. lec2错三道，听不懂turbine，也听不懂两种turbine分别是什么，按理说可以看到图的，这个网站没有图，而且托福100的真题音频很卡，但也有个教训是要习惯各种语言习惯，这个男的连音超多。But one feature that makes any model of vertical access turbine preferable to a propeller turbine is its ability to function in a wide range of wind conditions. And it also operates in turbulent gusty winds. Storm force winds. Propeller turbines just can’t efficiently handle winds on these two opposite ends of the spectrum.
   4. conv2错两道，主要问题是没听懂大的逻辑，重听前脑袋里没有这个谱：“教授说去解剖anatomy不是analogy(类似)博物馆要看lung肺的模型，然后交流了两个呼吸系统器官，分别负责交换气体和呼吸气体“，就这么简单，脑袋里有这个谱就很好判断。She confused terms related to the respiratory system.
   5. lec3全对，我也要自己制作皮影戏玩！
3. TPO69
   1. conv1 没错，借CD
   2. lec1 错得最多，
      1. Q2一上来就说了，hydrothermal vents, … , it’s like a geysers, except it’s on the ocean floor. 这种对比关系 distinction, different, contrast, resemble, similar, like, likewise，一定要关注！ 后面其实还提了一遍，A hydrothermal vent is essentially this same thing, but the water is emitted out of cracks or, or fractures in the ocean floor.，same thing, BUT，我其实听到了这句，但以为是成因而不是地点区别，没理解…
      2. Q3也是一上来就有，要注意这些强调词比如 significance, 各种比较级最高级和程度词，first original这些：But, the vents are also enormous significance for us. Beacause … chemistry …
   3. lec2 重听题错了，
      1. 错因：听不懂 enought lecturing, I can get pretty passionate to …这个是在自嘲，我只能通过他的声音判断，但这个读题人没体现出情绪。
      2. enough … 够了！注意一下
   4. conv2 没听到这个地方，说简爱takes place in England，另一个人主要关注的是Jamaica，意思是让学生思考得更深点。
   5. lec3 重听题又错了，
      1. 错因：没听过“blurry”这个词，虽然知道是“模糊”但是听到音频信号反应不过来：“And here’s the thing, the crab’s visual field is even blurrier in the center upon the sky than it is on the edges.” 螃蟹中间视野比边缘更模糊。
      2. 而且这句话是在重听题的后面，没有出现在重听题题干里，误导性强，要求当时听原文听懂了这个逻辑。

阅读练习顺序

文科题对我来说好像更难懂？不管是听力的文艺还是阅读的历史。

• 生物：
  • 之前做过：54-2
  • 30-1(跟着mooc做的，太简单，但确实感觉到有意识提取主干能提升阅读速度),
  • 42-1(我勒个豆，不知道是不是因为看完mooc悟了, 第一次全对, 六选三也对了（经验是弄清段落的总分结构，三句话一定能完整总结全文）),
  • 67(只有手机上有，没法做),
  • 45-1(生态题，只错一个6选3，因为关键句没看懂。)
• 历史：
  • 之前做过：75-2
  • 49-2(词汇题（理解错了，原文说的是“paper”这个词contracted from“papyrus”，原来如此）和6选3错了，这6选3看答案都没懂D为什么对，原来是答案错了，toefl100和小站的6个选项顺序都错了，D是在paragraph3，是个细节——印刷厂是欧洲最早的工业first true industry),
    • 标题都没看懂，Movable Type就是活字印刷术（每个字提前刻好拼成文章），movable可移动的，type是活字、文字、typeface是字体font，跟刻在木板上的雕版印刷（block printing）相对。
  • 50-2(错了一个修辞目的题，原因是 position 有立场的意思，the position taken by courtiers 大臣的立场被我错误理解成了篡位；原文逻辑理得不够顺，脑子里没有整个故事，在上面Reading攻略部分我把这个精彩的故事梳理了一下。精力不集中的时候做得就达不到要求，这两篇都花了21分钟多，虽然原tpo是20分钟的上限而不是18，但还是亟需提高抓句子主干的速度),
  • 51-1, 71-2
• 天文地质：
  • 42-2, 52-1

6-9～6-13模考

1. 自己模考TPO46错了俩词汇题和一个6选3…
   1. virtue在暗黑地牢里明明学过是美德的意思，now and then是有时…我以为是总是。跟from time to time一样，表达的是这时那时，时有发生。
   2. 6选3完全没看懂第二篇哪里说“集权”了，原来就在第四段倒数第二句说有更高的税就能更集权，我只看到了最后一句说商人跟当权者合作。
2. toefl100真题1，两篇都只错了6选3，第一篇我觉得答案也有问题（事实是gemini说我的是对的，答案是错的，所以我这套做了29分），第二篇几乎没看懂大气层的一堆术语和化学元素术语：
   1. The atmosphere is composed of troposphere, stratosphere, mesosphere, ionosphere and exosphere. 图贴在下面 term 部分，其中troposphere对流层是天气层，飞机如果没有航线冲突倾向于在更平稳的stratosphere平流层飞。
   2. sulfur dioxide是二氧化硫，ozone臭氧
3. TPO69
   1. 第一篇错了个插句子题，这篇做慌了，很少错这类题；
   2. 第二篇错了三个，第一个因为typo，east给doufu100写成了eat，真是个垃圾平台；第二个没道理，纯犯畜；第三个问作者为什么提到大海龟和大鸟，是想说他们补充了mammals的这个生态位的缺失，完全因为看不懂niche（只知道是壁龛），不知道是生态位。

学科专业词汇

地球：

atmosphere大气层：

太阳系（没有Pluto冥王星，不是行星，只有8个）：

grain（Cereal是Grain的子集，指禾本科(1.长得像野草的作物们；2.果皮和种子紧贴在一起（颖果），苹果我们吃的是内外果皮，里面的核就是种子)，尤其在美国前者通常指麦片）：

1. Ear of wheat (麦穗): 特指小麦植株上，包含许多麦粒的部分。这是一个具体的植物结构。
2. Wheat (小麦): 一种重要的谷物，广泛用于制作面粉，进而制作面包、面条、饼干等。含有麸质。
3. Rye (黑麦): 另一种谷物，与小麦类似，但通常在较冷、贫瘠的土壤中生长。用于制作黑麦面包、威士忌等。含有麸质。
4. Rice (大米/稻谷): 亚洲地区最重要的主食之一，有多种类型（如白米、糙米、糯米等）。不含麸质。
5. Barley (大麦): 一种古老的谷物，常用于制作啤酒、麦芽糖，也可用于煮粥、炖汤。含有麸质。
6. Oats (燕麦): 一种营养丰富的谷物，常用于制作燕麦片、燕麦粥。通常被认为是无麸质的，但可能会在加工过程中与含麸质谷物交叉污染。
7. Maize/Corn (玉米): 在美洲地区非常重要的谷物，用途广泛，可以作为蔬菜直接食用，也可以加工成玉米粉、玉米淀粉、玉米油等。不含麸质。
8. Millet (小米/黍): 一类小粒谷物的总称，包括多种种类。在亚洲和非洲一些地区是重要的主食。不含麸质。

高粱是Sorghum，我没记得我吃过高粱？

前20 periodic table：（hydrate是水合物，carbohydrate碳水(carbon没有n)，dioxide是二氧化物，carbon dioxide是二氧化碳）

植物：这篇文章里各种图都有，都画得很精美，我只借用一张。

鹅：

鱼：

atom: nucleus原子核的复数是Nuclei

所有学术“学科”词

一、以 -ology 结尾（表示“……学”）

二、以 -ics 结尾（表示“……学”）

三、以 -nomy / -graphy / -metry / -try 结尾

四、以 -y / 其他后缀结尾的常见学科

参考文献

1. cc98，托福帖子太多了，随便挑了几篇有眼缘的作为主要参考，去年充了2000块校内vpn，现在偷着乐。
2. 未来一个月的 3 次托福考试（2025-5-18 21:21）。想起来当时盲目自信，且甘愿拖延到最后才开始准备的心态，不断重复同一个错误。 这一个月考不出 95 分托福，没法免修就修不满学分，毕业继续延期，工作也要丢，不成功便成仁；
3. 我还欠 100 顿酒的苏小淇，距离她给我写那篇攻略已经过去了 900 天，直到现在（2025-5-18 21:23）我才发现这考经写得这么用心，直到现在我才发现她写的歌这么用心，2022年到年底真的快被傻逼组、不擅长的工作、积攒了一年半的悲痛情绪和傻逼疫情压垮了，但这不是伤害别人的理由（然后在2025-6-6 20:11发现原来她的攻略有部分是copy的，不爱酸苦辣的写作tips跟她的完全一样，但不爱酸苦辣是2022年初发的小红书，她是年底给我的攻略，昨天看听/读mooc就感觉有些地方相似…）；
4. 文章未完待续。

6-13

考前一天，RL模考共53，最后的任务是熟悉用肿的手写铅笔字和打字。

Reading 27，错的是：

1. 第一篇第八题，两个相近的选项没有稍微再多仔细分辨一下；
2. 第一篇第九题，居然不是插入句子，题目要true我以为是wrong/false逻辑看反了；
3. 第二篇第七题，mastery只知道大概是精通，有掌控的意思。虽然这两篇的6选3都对了，但这篇错主要还是有些句子没读明白导致思绪乱飞。

Listening 26，错的是：

1. conv1和conv2各错了一个双选，都是只听到一半细节。
   1. Though 这个关键词也要注意！！！
   2. 口音听不明白，最后两句没听清是建议他先忙学业，推迟工作。But听到了，ought to念太快根本听不出来，以为是 you know how to 而不是 you ought to。
2. lec1和lec2没错，lec3错了两个，这个老太太就是conv2那个声优，这个实验根本没听明白，最后一道题真的千万别放松警惕，这个时候可能已经听累了，但深呼吸找回状态：
   1. deception deceive 欺骗这俩词没听明白。另外！语速放缓的时候仔细听，是重点。后面重新出现了一次欺骗：low-ranking 猴子会有 false alarm call 阻止新成员进入，false alarm 听成了 fossil。。。
   2. 这个 false alarm 包括后面的男生的提问（即解释），说 know there’s no leopard but believe the others would think there’s a leopard 这里面的 no 也没听到，但凡听明白其中之一这俩题都能做对。

早睡早起，明上午再看看作文素材和学科单词，就这样了。

6-15

大概率是93～94分了，R27L22，通宵一整晚没睡着，S和W的状态不可能比L强太多，cc98上大家普遍是42～45，我需要46才能到95分。
不能怪女友了，我TPO本来就只有25分的平均水平，状态不好掉几分很正常。
未来一周全部拿来听TPO听力，从第一套开始往后逐句听懂，备考下次6-21。

结果TPO25听的第一个conv1就是关于毕业问题的，哪壶不开提哪壶（苦笑。

youtube资源练听力

only take notes about what you understand

notes → big picture, don’t write down any words you hear

很多时候at the end才理解main idea是正常的，don’t get stuck on that

上一秒还在听听力，tst prep 这一套错了十几个，几乎都要对6-21绝望，下一秒查分99，哈哈哈哈哈哈哈！给自己做了两三天心里建设，看来是用不上了。

考场很舒适，这次东6机房居然一共只有六七个人所以很安静，隔板很高空间很独立。
可完全集中不了注意力，第一篇的时候看两句就开始涣散，
但我绝对不能失败。

本来以为SW也就42～46，因为cc98上速通贴大多都是这个水平，我也本以为会只差一分考94免修失败。
没想到sw考出个50分！模版真好用啊，那么拉的精神状态都超常拿分了。

协议总览

[客户端] ------> [服务器]
   Client Hello  ------>  Server Hello + 证书
   验证证书
   生成 Pre-Master Secret
   使用公钥加密  ------>  私钥解密 + 会话密钥生成
   [加密数据传输]

握手阶段

SSL/TLS Handshake

1. 客户端Hello

client向server发送一个Hello消息，包括：

• 支持的SSL/TLS版本
• 支持的加密算法（AES，chacha？，RSA，DES？等 gcm呢？
• 随机数client random用于生成密钥
• 其他扩展信息如SNI（Server Name Indication，服务器名称指示），如果一个ip上有多个服务可以用SNI指定域名

2. 服务器Hello

server向client回复一个Hello消息，包括：

• 确认使用的SSL/TLS版本
• 确认的加密算法
• 随机数server random用于生成密钥
• 服务器的SSL/TLS证书（certificate）

3. 客户端对服务器的证书验证

Certificate Verification :

• 检查证书是否由受客户端信任的CA签发
• 检查证书是否已过期
• 检查证书的域名与目标服务器是否匹配

所以证书实际上只有在一台设备第一次访问服务器时会用到，验证过公钥可靠性之后，客户端保存下来公钥，只要公钥没被server改变也没被client删掉，证书就不再参与加密过程了。

证书内容

.pem, .crt文件里的-----BEGIN CERTIFICATE-----, ..., -----END CERTIFICATE-----看起来是乱码通常是 Base64 编码的 ASN.1（二进制）数据，二进制易于存储传输。
根据 X.509 标准，用openssl x509 -in example.crt -text -noout命令解码后证书中包含以下信息：

1. 版本号（Version）：证书使用的 X.509 版本（如 v3）。
2. 序列号（Serial Number）：证书的唯一标识号。
3. 签名算法（Signature Algorithm）：用于签名的算法（如 RSA）。
4. 颁发机构（Issuer）：签发证书的 CA（证书颁发机构）。
5. 有效期（Validity）：证书的起始日期和过期日期。
6. 主体（Subject）：证书所属实体（如网站域名）。
7. 公钥信息（Public Key）：包含公钥及其算法。
8. 扩展字段（Extensions）：包括用途等。
9. 签名（Signature）：由 CA 用其私钥生成，用于验证证书的真实性。

按适用范围分类有三种：

1. 单域名证书：保护单个域名，如 example.com，不适用于 sub.example.com；
2. 多域名证书（SAN 证书，Subject Alternative Name）：允许多个不同域名共享一个证书，如 a.com、b.net、c.org；
3. 泛域名证书（Wildcard Certificate）：适用于主域名及所有子域名，例如 *.example.com 可用于：www.example.com、mail.example.com、blog.example.com，但不支持二级以上子域名（如 a.b.example.com）。

ACME协议

ACME协议的工具有：

• Certbot（Let’s Encrypt 官方推荐）
• acme.sh（轻量级 Shell 脚本实现）
• LEGO（Go 语言实现）

Let’s Encrypt的官网是不能申请证书的，完全通过 ACME client 操作，官方提供的是 certbot。

ACME（Automatic Certificate Management Environment，自动证书管理环境）是一种用于自动化管理TLS/SSL证书的协议，由Let’s Encrypt和Internet Security Research Group (ISRG) 开发并由 IETF（Internet Engineering Task Force）标准化，定义在 RFC 8555。

这里选用 acme.sh ，因为我希望尽量轻量而且一步到位完全自动，想要在我阿里云 CDN + OSS 的架构上自动申请证书要先回忆一下我到底是怎么搭建博客的。

1. 首先hexo生成的是静态网站，这个static不是说没有Javascript的动态交互，而是说没有数据库操作，服务端只提供html等资料，部署在OSS（Object Storage Service）就跟存在网盘或者图床上的资源差不多性质。
2. 然后我用CDN（Content delivery network）提升访问速度，以本网站的 wiki 为例，
   • 阿里云 CDN 服务的 Edge Servers 域名是 wiki.v2beach.cn.w.kunlunaq.com，wiki 本身通过阿里云 DNS 的 CNAME（域名→域名）映射到这个域名，这个域名再映射到下图所示的多个边缘服务器。
   • 如果 CDN 上没有缓存，会进行回源访问 v2beach.github.io:443 这个 GitHub Pages 源站，如果是 blog.v2beach.cn 的 CDN blog.v2beach.cn.w.kunlunca.com 上缓存不命中则是回源到 blog-v2beach-cn.oss-cn-chengdu.aliyuncs.com:443 这个 oss 原址上，试图将静态资源缓存到 CDN。

所以实际上我需要的是将申请到的证书再上传到阿里云证书管理服务，并部署到 CDN 上。

好在七八年前的这个 issue 里有人已经写过了 deploy/ali_cdn：
安装阶段 acme.sh 做了这些操作：

1. Create and copy acme.sh to your home dir ($HOME): ~/.acme.sh/. All certs will be placed in this folder too.
2. Create alias for: acme.sh=~/.acme.sh/acme.sh.
3. Create daily cron job to check and renew the certs if needed.
   然后就可以 issue certs（签发证书）了，根据 How to issue a cert 和在阿里云 DNS 添加 txt 记录从而自动签发的 api

这两步阿里云 api 要申请权限。

./acme.sh --issue --dns dns_ali -d 'v2beach.cn' -d '*.v2beach.cn'

为主域名和子域名一块申请泛域名证书。
之后在阿里云 CDN 部署证书，根据 deplothooks 文档，

export DEPLOY_ALI_CDN_DOMAIN="blog.v2beach.cn wiki.v2beach.cn"
./acme.sh --deploy -d 'v2beach.cn' --deploy-hook ali_cdn

这里部署的域名是被加速的域名，而不是 Edge Servers CNAME 域名。

原来 cron 定时任务这个单词跟 chrono ark 是同一个词源，都是来自希腊语的时间。

本来想用 Docker 管理，但离开商汤后两年没用了，手生没办法还是用 git 操作了。

Let’s Encrypt证书内容

证书签发过程中除了上面证书内容里说的.pem, .crt之外还会有.key文件（即私钥），公钥已经包含在证书文件里了。
这个密钥是在 server hello 里跟 client 传证书时数字签名用的。

[Mon Mar 17 22:14:34 CST 2025] Your cert is in: /Users/v2beach/.acme.sh/v2beach.cn_ecc/v2beach.cn.cer
[Mon Mar 17 22:14:34 CST 2025] Your cert key is in: /Users/v2beach/.acme.sh/v2beach.cn_ecc/v2beach.cn.key
[Mon Mar 17 22:14:34 CST 2025] The intermediate CA cert is in: /Users/v2beach/.acme.sh/v2beach.cn_ecc/ca.cer
[Mon Mar 17 22:14:35 CST 2025] And the full-chain cert is in: /Users/v2beach/.acme.sh/v2beach.cn_ecc/fullchain.cer

每个证书都包含证书链，证书链里每一个证书（Root CA，Intermediate CA）都要被验证通过，否则证书验证失败。

[服务器证书]  <-- 由 [中间 CA] 签发
[中间 CA]  <-- 由 [根 CA] 签发
[根 CA]  <-- 由 操作系统/浏览器 预置信任

根 CA 采用分层架构是为了极大降低根 CA 私钥使用频率，中间 CA 被攻破的情况下会受中间人攻击的服务器大大减少。

• 根 CA 只用于签发中间 CA 证书，签发频率极低（可能几年才用一次）。
• 根 CA 私钥存储在离线环境（HSM 设备），并且通常处于冷存储，无法通过网络访问，极大降低了攻击面。即使根 CA 被攻破，攻击者仍然需要物理访问HSM 设备（Hardware Security Module，硬件安全模块是一种专门用于存储和保护加密密钥的硬件设备），否则无法使用私钥进行签发。
• 相比之下，如果根 CA 直接签发每一个终端证书，私钥必须频繁使用，暴露在在线环境的风险更大。

openssl x509 -in /Users/v2beach/.acme.sh/v2beach.cn_ecc/v2beach.cn.cer -noout -text 翻译二进制证书，基本符合上面证书内容部分列举的内容。

4. 生成各种密钥

1. 随机生成预主密钥 (Pre-Master Secret)；
2. 用Pre-Master Secret和client random以及server random共同生成主密钥 (Master Secret)；
3. 用Master Secret派生出一系列会话密钥 (Session Key)。

生成Session Key本身的过程用非对称加密传输随机数密钥，这个Session Key进而用于数据传输的对称加密。

为什么费劲两轮加密？第一次非对称加密是想办法在不直接传输密钥的情况下让客户端和服务器得到相同密钥，因为如果直接传输约定的密钥，只需截获这个信息和加密算法（通过任何渠道——截获Hello，穷举，从密钥反推都可以得到加密算法），第三方破译信息甚至伪装成客户端或服务器也就轻而易举了。之后的对称加密则是在确保密钥不泄漏的情况下进行安全的数据传输了。

如果用RSA传输Pre-Master Secret

Client: [客户端随机生成 48 Bytes Pre-Master Secret] → [使用服务器公钥（Server Hello中获得）加密] → [发送给服务器]
Server: [用私钥解密] → [获得 Pre-Master Secret]

很自然地提问，为什么SSL/TLS中不角色互换，让服务端随机生成PMS，而客户端保存私钥提供公钥？

1. 客户端私钥容易丢失；
2. RSA私钥解密计算开销大（$c^d \mod n$），pc或许可以承受，移动端就加重设备负担；
3. chatgpt说会加大MITM风险（Man-In-The-Middle，中间人攻击）？可是中间人攻击应该是从server Hello就拦截掉了，向client伪造自己是server。向server伪造自己是client，按我的理解MITM攻击跟谁存私钥关系不大。

算法细节总结在下文Rivest–Shamir–Adleman。

举例来说，假如p=2，q=3，公钥指数e=5，计算只需要这三个数字。

1. $n = 2 \times 3=6$；
2. $\varphi(6) = (2 - 1) \times (3 - 1)=2$，跟6互质的有1和5；
3. 选择互质的e=5，$\gcd(5, \varphi(6)) = 1$；
4. 寻找这样一个d，$5 \times d \equiv 1 \mod 2$，这个私钥指数可以是…, -1, 1, 3, 5, 7, …，任何一个都可以解密，但一般选最小正整数这里即1，减少运算量；
5. 公钥即（6, 5），私钥即（6, 1）。

假设要加密的明文M=3（M一般要设定0到n之间，否则会解密出错，所以p和q一般设置很大），加密过程：$C=3^5 \mod 6=3$；解密过程：$M=3^1 \mod 6=3$。
发现n过小的时候C=M，所以n甚至会设置为2048位的大数。
经验1.$0<M<n$；2.$n>10^{1024}$。

涉及参数分别是$p, q，n，\phi(n)，e\rightarrow d$，其中，n是要公开（不加密，明文）发送给客户端的，e是选定的跟n组成公钥一起公开，最后密文C是公开的，其他所有数字都是保密的。

如果用ECDH生成Pre-Master Secret

双方各自生成一个私钥（私密）和一个公钥（可公开）。
双方交换各自的公钥，用对方的公钥和自己的私钥，分别用椭圆曲线和一个基点（不是焦点，是曲线上的点）计算出相同的 Pre-Master Secret。

Client: [生成私钥 a] → [计算公钥 A = g^a mod p] → [发送 A]
Server: [生成私钥 b] → [计算公钥 B = g^b mod p] → [发送 B]
双方计算：Pre-Master Secret = B^a mod p = A^b mod p

PRF生成Master Secret

基于一段数字PMS生成另一段随机数字MS，但要求得知seed（Key）的情况下就能得到生成数字MS。

PRF (Pseudo-Random Function，伪随机函数) 在 TLS1.2 和 SSL 里用的是 MAC 和 HMAC，在 TLS1.3 里用的是安全优化后的 HKDF（HMAC-based Key Derivation Function）。

以HMAC(Hash-based Message Authentication Code)为例：

• $ \oplus $ ：按位异或 (XOR) 运算
• $ \parallel $ ：表示字符串连接 (Concatenation)
• pad ：填充常量（值为 0x…，与哈希块大小相同）

PRF(Secret, Label, Seed)=P_hash(Secret, Label + Seed)

• Secret：Pre-Master Secret 或 Master Secret
• Label：一个ASCII字符串标签，表示当前正在生成的密钥类型（如 “master secret”、”key expansion” 等）
• Seed：由客户端和服务器在 TLS 握手时交换的两个随机数 (ClientHello.random + ServerHello.random)
• P_hash()：基于 HMAC 的递归扩展函数

总之就是按某种神秘复杂固定算法，能得到一个一一对应的map，即（Message，Key）对应哈希得到的唯一值。关于哈希算法之前一直没有细想过，为了不影响整体观感我在下文整理一些Hash算法。

PRF生成Session Key

用上述算法生成连接过程中SSL/TLS所需其他加密密钥。

5. 握手结束

双方使用会话密钥对“握手完成（Handshake Finished）”消息加密并发送，以确认握手成功。
根据RFC2246：

finished_label
           For Finished messages sent by the client, the string "client
           finished". For Finished messages sent by the server, the
           string "server finished".

之后与握手结束过程相同继续进行对称加密的数据交换。

加密算法

本质

1. 将转为数字（比如直接转成定长的ASCII码拼起来）的信息，结合另一段数字（密钥），用具备某种数学性质的算法转换成一段乱码。
2. 对于对称加密（Symmetric Encryption）来说相对简单，只需要一个互逆的数学变换$f$，满足：$C=f(K,P), P=f^{-1}(K,C)$
   • 其中K是密钥key，P是明文plaintext，C是密文ciphertext。比如最简单的例子，加减（$f=+, f^{-1}=-$）乘除（$f=\times , f^{-1}=\div $），或者异或XOR（$f=f^{-1}=\oplus $，因为$A\oplus A=0, A\oplus 0=A$）。
3. 非对称加密（Asymmetric Encryption）则需要一个“单向陷门函数（One-way Trapdoor Function）”，说人话就是正向好计算，逆向如果没有密码就非常难算：$C=f(K_{public},P), P=g(K_{private},C)$
   • 单向函数是已知x和f很容易计算f(x)，但已知f和f(x)很难反推出x。
   • 陷门函数是用一个数学后门Key，能很容易用f和f(x, key)反推出x。
   • f 就是易计算但难逆的数学函数（如大整数分解、椭圆曲线问题）。

比如在RSA中的单向陷门函数是$f(x) = x^e \mod n$，陷门trapdoor就是用通过欧拉函数得到的解密指数（私钥指数）d 求解$g(x)=y^d \mod n$。注意，对称算法是可逆函数$f, f^{-1}$，非对称算法不是f的可逆函数而是另一个相关函数g。

非对称

以SSL/TLS为例（服务端存私钥）的应用：

1. 加密数据，client用server的公钥a加密b得到c并传输，server用私钥d解密c得到信息b；
   • 加密任何单向数据，SSL/TLS里client加密发送Pre Master Secret用于生成后续密钥。
2. 数字签名，server用私钥d加密b得到c并传输，client用server的公钥a解密c得到信息b，一方面能验证身份真实性（因为公钥a能解开就证明是公钥a对应server发送的信息），另一方面数字签名都会附加用SHA-256等哈希函数把信息b映射成e，用于客户端用同样的SHA-256映射信息b为f，通过e==f验证数据完整性。
   • SSL/TLS里“服务器Hello”内包含的证书就需要数字签名，一开始的server Hello是没加密的，通过验证身份能避免伪造server。
   • 邮件需要数字签名验证发件人身份和邮件内容完整，但是邮件是隐私，需要额外加密邮件内容。
   • 软件需要数字签名验证制作者身份和软件内容完整，软件是公开内容一般不需要加密安装包等。

RSA的可逆性让它可被用做上述两种用途，client用server的公钥加密传输预主密钥，server用私钥数字签名证书传给client，只用一套公钥私钥，即key1加密key2可以解密，key2加密key1也可以解密。

那么一定存在其他加密算法只能key1加密key2解密，反之不行。

比如ElGamal分别有加密和数字签名两种用法，一样是在SSL/TLS中server存私钥这个例子，但一套密钥只能用于加密传输或数字签名一种用途，若用于加密传输就是client用server的公钥加密server收到后解密，若用于数字签名就是server用私钥加密client收到证书后解密验证。公钥若用来加密就不能反过来用同对私钥加密。

因为算法不可逆，反过来用密钥key2加密会导致key1无法解密（得用个key3解密）。

Rivest–Shamir–Adleman

这里R、S、A分别代表创造算法的三个人。

数学原理：

1. 选择两个大素数 $p$ 和 $q$，计算它们的乘积：$n = p \times q$；
2. 计算 $n$ 的欧拉函数（在数论中，对正整数n，欧拉函数φ(n)是小于或等于n的正整数中与n互质的数的数目。例如φ(8) = 4，因为1,3,5,7均和8互质。）：$\varphi(n) = (p - 1) \times (q - 1)$；
3. 选择一个公钥指数 $e$，通常选择一个小的整数，使得 $e$ 与 $\varphi(n)$ 互质：$\gcd(e, \varphi(n)) = 1$；
4. 计算私钥指数 $d$，满足：$e \times d \equiv 1 \mod \varphi(n)$，即求解：$d≡e^{−1} mod φ(N)$；
5. 这样就得到公钥：$(n, e)$ 和私钥：$(n, d)$。

加密过程：$encrypted = message^e mod n$；
解密过程：$message = encrypted^d mod n$。

对称

AES

Advanced Encryption Standard，高级加密标准是一种分组加密算法，工作方式如下：

输入：固定长度的明文分组（128 位，即 16 字节）和密钥（128、192 或 256 位）。
加密过程：
经过多轮字节替换（SubBytes）、行移位（ShiftRows）、列混合（MixColumns）和轮密钥加（AddRoundKey）操作。
轮数取决于密钥长度：
AES-128：10 轮
AES-192：12 轮
AES-256：14 轮
其中，MixColumns 在最后一轮中被省略。
输出：加密后的密文（同样是 128 位）。

justmysocks-ss的gcm（Galois/Counter Mode）只是AES增加功能的特殊模式。

ChaCha20

ChaCha20 是一种流加密算法，基于Hash函数（MD5，SHA）和异或操作，不同于 AES 的分组加密。

输入：
256 位密钥（32 字节）
96 位随机数（Nonce）（12 字节）
计数器（32 位，避免重复）
加密过程：
以 512 位（64 字节） 为单位生成伪随机密钥流。
明文和密钥流按位异或（XOR）。
通过 20 轮四分之一轮函数（Quarter Round）变换密钥流，确保扩散性。
输出：和明文长度相同的密文。

Hash

Hash 之所以叫 Hash 就是打碎、混合原本信息，转为定长值，用于超快的 O(1) 数组索引读操作，或达到保证数据完整安全的效果。

SHA-1/SHA-256, MD5 都是注重安全性的哈希算法，不只要求Key和Value一一对应，而且要求算法不可逆，即已知算法本身和Value，非常难计算回Key。使用时比如将密码转为 MD5，数据库里存的只有 MD5 所以不怕泄漏，密码明文传到服务器计算 MD5 进而跟数据库匹配的过程由 HTTPS 保证安全。

而平常我用的Hash Table，如C++的STL，map是红黑树，unordered_map是FNV-1a/MurmurHash等低安全性可逆的高效算法，python dict早期也用FNV-1a，现用SipHash（未进行fact check）。

MD5

Message Digest Algorithm 5，字面意思是消息摘要，可以把任何信息转换成128-bit（16 字节）。
哈希算法的4个步骤：

1. 用填充（Padding）等方式，将数据的二进制形式长度补齐到 ≡ 0 mod 512 整除，然后把数据拆分成一堆 512 bits 的 blocks。
2. 初始化 MD5 缓冲区（都是从右边低字节开始存的，即小端序 Little Endian）：

   A = 0x67452301，小端序01234567 B = 0xefcdab89，跟A连着的89abcdef，设置成这个随机初始值纯粹是看起来舒服 C = 0x98badcfe，是B的倒序fedcba98 D = 0x10325476，是A的倒序76543210

3. 每个 512-bit block 计算时都被分成 16 份 32-bit 子块：

   • 对 16 个子块共做 4 轮循环，64 次运算；
   • 每次运算的公式为 A = B + ((A + F(B,C,D) + M[i] + T[i]) <<< s)，意思是运算时只有寄存器 A 被写了，运算完后（A，B，C，D）寄存器值会右移为（D，Anew，B，C）；
   • T 是 64 个 32-bit 常数，M 是 16 份子块，但 4 轮中每轮的索引顺序 i 会变，比如第一轮是0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15，第二轮变成1, 6, 11, 0, 5, 10, 15, 4, 9, 14, 3, 8, 13, 2, 7, 12，s 是每次左移的位数，一切只是为了增加计算复杂度；
   • 每轮的操作以下面 4 次运算为例（即整个运算的 1 / 16 部分）：

     A = B + ((A + F(B,C,D) + M[0] + T[0]) <<< s) D = A + ((D + F(A,B,C) + M[1] + T[1]) <<< s) C = D + ((C + F(D,A,B) + M[2] + T[2]) <<< s) B = C + ((B + F(C,D,A) + M[3] + T[3]) <<< s)

   • 公式中的 F 在四轮中分别是 F、G、H、I 四个非线性函数，分别是：

   | 轮数 | 函数 | 计算公式 |
   |—————|———|—————————————————————|
   | 0 - 15 | F | $ F(B, C, D) = (B \land C) \lor (\neg B \land D) $ |
   | 16 - 31 | G | $ G(B, C, D) = (B \land D) \lor (C \land \neg D) $ |
   | 32 - 47 | H | $ H(B, C, D) = B \oplus C \oplus D $ |
   | 48 - 63 | I | $ I(B, C, D) = C \oplus (B \lor \neg D) $ |

   • 这样经过 4 轮 64 次基于原本信息 M 的运算，得到的（A，B，C，D）四个 32-bit 量再累加到初始值上：

     A = A + 初始 A B = B + 初始 B C = C + 初始 C D = D + 初始 D

   • 每一个 512-bit block 都以上一个 block 的（A，B，C，D）为初始值计算，最终得到的（A，B，C，D）4 个 32-bit 变量加起来就是 128-bit MD5。

FNV-1

Fowler–Noll–Vo 分别代表创造算法的三个人。

http://www.isthe.com/chongo/tech/comp/fnv/

hash = offset_basis
for each octet_of_data to be hashed
 hash = hash * FNV_prime
 hash = hash xor octet_of_data
return hash

这里的 octet 就是 byte。
发现其实用的哈希算法非常简单，就是用一个值 hash 乘一个 FNV 质数，之后用这个 hash 跟被哈希信息的每一个字节做异或 XOR，因为 octet_of_data只有 8 位，hash 这个值一般大于 8 位，所以 octet_of_data 在高位补 0，异或操作也不会影响 hash 高于 8 位的部分，相当于之后一直是数据在跟自身异或。

FNV-1a 只是交换了乘 FNV 质数和 XOR 的顺序。

hash = offset_basis
for each octet_of_data to be hashed
 hash = hash xor octet_of_data
 hash = hash * FNV_prime
return hash

用了这么久的 hash table library 们居然只是这么大道至简的算法就能解决存储碰撞，让我有些意外。

中学电路知识

P=UI, U=W/q, U=IR, P=I²R. (按中学习惯电压还是用U而不是V)

电流Electric Current

电流是单位时间横截面通过的电子数量。

电压Voltage

电压是电场对单个电子平均做的功，或者制造的电势能。

功Work

功work是能量energy的转移或转化，有回路的时候就是做功，公式U=W/q适用，没回路的时候W=0不适用公式，仍然存在电压是因为电势能差的存在。

势能Potential Energy

港台叫位能，物体在一个力场的位置上固然存在的能量，比如宏观的重力势能$U=mgh$，弹性势能胡克定律$U=\frac{1}{2}kx^2$，微观的库伦力电势能$U=\frac{kq_1q_2}{r^2}$。

功率Power

微观理解电压U=W/q乘电流I=单位时间横截面通过的电子数量，乘起来就是单位时间内通过横截面的总的能量，总的功，即功率。表示每个电子在单位时间内获得并传递的能量work/energy总和。

电对人的伤害

1. 神经信号是电信号，外部施加强电流会导致神经、心脏、肌肉功能失效，比如肌肉痉挛（即强烈收缩contraction），比如心跳失常，比如脑功能失常；
2. 导致烧伤，焦耳热 P=I²R；

3. 体内物质因为强电发生电解。

4. 如果I大U小（current大voltage小）：比如车载电池是 500A 电流 12V 电压，但是对人体危害不大，因为 500A 存在于汽车电路，人触碰到相当于是增加了并联电路，汽车电路都是导线自由电子多，人高电阻实际电流会很微弱，按人体最低的估计电阻1000Ω算，车载电池只够在人体产生12mA电流，可能刚够造成肌肉痉挛（类比小腿抽筋）。只有高电压（构造高电势差）才能制造高电流，遵循欧姆定律 U=IR，而不是P=UI。

5. 如果U大I小（voltage大current小）：即我触电的电源到我的身体和地面之间有很大电势差，电流小是因为回路内自由电子少，人体电阻（>1000Ω）如皮肤被击穿电流增大，电阻会随之下降。

对人体来说不可能出现人体内通过 500A 电流 12V 电压这种情况，因为人体的电阻远远远大于 12/500，电压足够大才一定会导致大电流。

交流电

传输电力实际上不是“运输电子”，而是通过各种途径传输能量，包括电子间相互作用力导致的动能传输，更主要的是依赖于量子力学效应的能级跃迁、电子-声子相互作用等。传输电力可以简单理解成电源通过推动电子把能量传到另一边，交流电是通过电子振荡传输能量，就可以理解成是电源来回推拉电子的过程。

家用交流电是-311V～311V的三角函数，50Hz即1秒钟内按这样的周期变化 50 轮，三角函数的有效值是311V/根2=220，即传输的功率等价于220V直流电。

发电和用电

发电是动能（火力发电也是通过热能用水蒸汽推动蒸汽轮机）切割磁场线（导体穿过磁场发生磁通量变化制造感应电动势）转化成电能的过程，用电则是再转化为光能或动能、热能等。

比如马达，电机是靠电周围产生的磁场带动磁铁运动；
电能转化成光能有很多种情况：

1. 早期阴极射线管（CRT，Cathode Ray Tube）是通过电子流让荧光材料发光；
2. 液晶显示（LCD，Liquid Crystal Display）是这五个中的特殊情况，电压改变液晶排列只控制光的透过性，真正发光的是背光源（Backlight） LED，早期的背光源也是荧光粉（汞蒸汽被通电后释放紫外线（UV），紫外线激发不同的荧光粉发出不同颜色的光；（电脑屏幕，我的老NS屏幕用的TN和IPS都是一种LCD，我手里可能只有mbp m1 2020和iPhone 12是LED屏）
3. 发光二极管（LED，Light-Emitting Diode）是半导体发光器件，其发光原理是电致发光（Electroluminescence），施加正向电压后PN结（PN中间的过渡层）中的电子跟空穴结合，电子从高能态跃迁到低能态，释放出光子（光），不同制造二极管的材料会发出不同的光，GaN（氮化镓）发出蓝光、GaAs（砷化镓）发出红光、InGaN（铟镓氮）+荧光粉产生白光（LCD 背光常用）；
4. 有机发光二极管（OLED，Organic LED）即PN结换成有机材料。
5. 等离子显示（Plasma Display Panel, PDP）跟LCD中早期背光源相似，不过不是汞蒸汽，是氖气和氙气通电后形成等离子体发出紫外线（UV），紫外线激发荧光粉发光。

荧光效应

荧光材料里含有稀土离子（如Eu²⁺、Eu³⁺、Tb³⁺），这些金属离子在吸收特定波长的光（通常是紫外光或短波长可见光）后电子会吸收能量，从基态跃迁到激发态。
电子在激发态不稳定，会通过无辐射跃迁（能量以热的形式释放）回到较低的激发态，释放可见光。

荧光效应简单来说就是一些稀土离子（rare-earth element，REE，是元素周期表中第3族钪、钇和镧系元素共17种金属化学元素的合称，电子特性和磁性质在现代工业应用广泛无法被取代）吸收高能光变为不稳定态又释放出可见光的过程。

法拉第电磁感应

磁生电感生电动势公式：

其中：

• $\mathcal{E}$：感应电动势（单位：伏特 V）
• $\Phi$：磁通量（单位：韦伯 Wb）
• $t$：时间（单位：秒 s）

其中：

• $\mathbf{B}$：磁感应强度（单位：特斯拉 T）
• $d\mathbf{A}$：面积微元（单位：平方米 $m^2$）

闭合回路中的感应电动势等于穿过回路的磁通量随时间的变化率，并取负号（楞次定律），即感应电流的方向总是反抗磁通量的变化。

安培定理

变压器微观解释

升压时：更多电子的“动能”集中在更少的电子上（电压升高，电流减少）。通过增多线圈匝数，每个电子获得的能量（电压）更高；但导体内的电子总数（电流）减少。
降压时：电子的“动能”分散到更多的电子上（电压降低，电流增加）。

调整电压的公式是$V_2 = V_1 \times \frac{N_2}{N_1}$，V1是输入电压，N1是初级线圈匝数，V2是输出电压，N2是次级线圈匝数。
如果输入电压未知大小，可能是220V，可能是100V，假如输出都需要10V，解决方案：

1. 首先假如N1是2200匝，按公式计算N2的10V端就需要100匝。如果输入电源只有两种可能，可以加一个抽头（Tap）在N1的1000匝处接出来一个点，如果输入是220V就用完整2200匝，如果输入是100V就接到抽头上用其中1000匝；
2. 上面方法很老了，现在较大功率的电器用高频变压器/开关模式电源 (Switch Mode Power Supply)，手柄里则用稳压器，比如线性稳压器 (Linear Regulator) 是用一个可调节电阻消耗多余电压，或者用开关稳压器 (Switching Regulator) 用MOSFET、控制芯片和电容电感等控制输出电压。

电池

顺带着分析下新的xbox series手柄电池充放电原理，虽然已经把我7年前的xbox 360修好了。

碱性电池

刚发现新手柄里的5号电池是不可充电的（not rechargeable），给的type-c口是直接从电源连到电路上的（通过变压器调整电压和整流电路把交流变直流）。

碱性电池的化学体系基于锌-二氧化锰（Zn-MnO₂），电解液通常是氢氧化钾（KOH）。反应不可逆，所以不能充电。

放电时：

负极（阳极，氧化反应）：

正极（阴极，还原反应）：

总反应：

铅酸电池

汽车电瓶用这种。

铅酸电池使用Pb（铅）作为负极，PbO₂（氧化铅）作为正极，电解液是硫酸（H₂SO₄）。其充放电过程可逆。

放电时（供应电能）：

负极（阳极，氧化反应）：

正极（阴极，还原反应）：

总反应：

充电时（吸收电能）：

锂离子电池

锂电池的正极材料可以是LiCoO₂（钴酸锂）、LiFePO₄（磷酸铁锂）等，负极通常是石墨（C）。其反应也可逆，充放电时锂离子在正负极之间来回移动。

放电时（供应电能）：

负极（阳极，氧化反应）：

正极（阴极，还原反应）：

总反应：

充电时（吸收电能）：

接下来的内容就是房屋水电，b站有个自装修up有水电合集，youtube也有很多教程。

电灯走线，开关结构

amp是Ampere安培，以电路5的16A（最大安全工作电流，额定电流）为例，额定功率是 P=220V×16A=3520W。

PVC/PPR

PVC（Polyvinyl Chloride，聚氯乙烯），硬度较高，但韧性较差。含有氯元素，燃烧时可能释放氯化氢气体，有毒，寿命短，不耐高温。胶水连接。

PPR（Polypropylene Random Copolymer，无规共聚聚丙烯），聚丙烯共聚而成，耐高温、耐腐蚀，无毒无味。热熔连接。

谈起这个区别是因为一开始误会奶奶家阳台的给水管是 PVC，实际都是PPR，但是是外径 20 mm，壁厚很薄（～3mm）的内壁铝塑管，十几二十年过去风化严重，现已淘汰，给奶奶用热熔枪换上的是更厚的 PPR。

牢骚

年初五，过年七天累，年在走完倪家庵这四世亲戚后算过完了。
难以置信，距离2025-2-2动笔这篇文章，已经过去1313天了。
一回家就会被无尽的回忆吞噬，清冷早晨从南窗森林传进屋里的四声杜鹃，北窗外没改西关分校和高楼之前，平房远处是铁路公路的景象，一瞬间就能把我拉回过去，老家属院被废物政府拆了，这栋06年春节搬进的房子就承载了我对过去的所有记忆。
如果一切一如我前二十二年人生那样顺利，这些记忆只是跟家人茶余饭后的笑谈，现在却是历经三年依然能不断淹没我的巨大痛苦。
是的，沉浸在过去是毫无价值的，我的痛苦在这充满灾难的世界不值一提。
但我还是多么想多么想付出生命付出一切，只要能永远留在那个梦里，回到那些听着四声杜鹃、看着老家属院坡上那轮巨大朝阳的早晨，冲到家人身边，拥抱爸和年轻的奶奶，告诉他们那是我一生中最好的时光。

DataParallel(DP) vs. Distributed Data Parallel(DDP)

Ring-Allreduce

每个设备上都会存完整的model用于前向计算，但是会把batch拆成batch_size除以设备数的batches，然后反向传播得到的梯度dW靠All Reduce传递计算dW的平均值来更新model weights。

https://andrew.gibiansky.com/blog/machine-learning/baidu-allreduce/
上面這邊博客比PyTorch DDP官方教程裡提供的這篇講得清楚很多。

算法名

所謂Ring是指將GPU構成邏輯環，每個GPU只跟兩個GPUs連接，一個left neighbour一個right neighbour，chunk只會從左邊接收發給右邊。

所謂Allreduce是指相比1個reducer而言，所有的GPUs都作為聚合者reducer。

算法

Ring-Allreduce以計算一個求和任務為例（exactly what we need in backprop），有Scatter Reduce-Allgather兩個階段：

1. 首先假如有5個GPUs，所有GPU上的array就都被分成5個chunks。
2. Scatter Reduce 階段每個第 N 個 GPU 都會發生 N-1 個 iterations，每次迭代的操作是求和：
   1. 1st iteration 發送第 n 個 chunk，接收第 n-1 個 chunk；
   2. 之後的所有 iterations 裡都是發送剛接收到的 chunk。
3. Allgather 階段每個第 N 個 GPU 也都會發生 N-1 個 iterations，每次迭代只是用接收的 chunk 覆蓋原本 chunk：
   1. 1st iteration 發送第 n+1 個 chunk，接收第 n 個 chunk；
   2. 之後的所有 iterations 裡都是發送剛接收到的 chunk。（同上）

Scatter-reduce data transfers (iteration 1)	Scatter-reduce data transfers (iteration 2)	Scatter-reduce data transfers (iteration 3)	Scatter-reduce data transfers (iteration 4)	Final state after all scatter-reduce transfers

每個 GPU 上有一個求和結束的 chunk，每個 GPU 都作為 reducer 完成了工作。

Allgather data transfers (iteration 1)	Allgather data transfers (iteration 2)	Allgather data transfers (iteration 3)	Allgather data transfers (iteration 4)	Final state after all allgather transfers

Bandwidth vs. Latency：
Bandwidth帶寬是每秒通過A點的數據量；
Latency延遲是一個數據從A點到B點需要的時間。

帶寬遠大於延遲時 Ring-Allreduce 這種與 GPU 數量無關的算法會很快，上面第一種方法因為壓力會給到帶寬（reducer要挨個給每個GPU返回幾個G的梯度數據更新參數）所以耗時跟 GPU 數量是線性增長關係。

MapReduce的reduce

reduce算法中reduce的意思不是減少，而是“合併”（併是動詞，並是其他副詞連詞詞性）、“聚合”。

假如用MapReduce算法做統計文本的單詞頻率這個任務，以“hello world hello”為例，有Map-Shuffle-Reduce三個階段：

1. Map：文本分割成單詞，構造鍵值對。

   ("hello", 1) ("world", 1) ("hello", 1)

2. Shuffle：Map的輸出會經過Shuffle把Key一樣的值聚集到一起。

   ("hello", [1, 1]) ("world", [1])

3. Reduce：對Shuffle的結果聚合，這個任務是求和，有的任務是統計Key出現的次數，有的是求Value最大最小值，有的是把Value合併成一個數據結構。

   ("hello", 2) ("world", 1)

DDP

1. 構建 Process Group（進程組，DDP是multiprocessing，DP是multithreading），其中backend有两种，用于支持多设备之间通信操作比如广播(Broadcast)聚合(Reduce)和All-Reduce等，NCCL全称是NVIDIA Collective Communications Library针对多GPU场景，Gloo是Facebook AI Research开发的针对CPU和GPU混合场景。

   def ddp_setup(rank: int, world_size: int): """ Args: rank: Unique identifier of each process world_size: Total number of processes """ os.environ["MASTER_ADDR"] = "localhost" os.environ["MASTER_PORT"] = "12355" torch.cuda.set_device(rank) # sets the default GPU for each process. # 分佈式進程組 distributed process group 包含mp.spawn出來的所有能交流和同步的進程 torch.distributed.init_process_group(backend="nccl", rank=rank, world_size=world_size) # 默認用 TCP 協議初始化 distributed process group，backend 的選擇上，GPU分佈式訓練用NCCL，CPU分佈式訓練用Gloo

2. 構建 DDP model。

   self.model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[gpu_id])

3. Distributing Input Data（分發輸入數據）。

   train_data = torch.utils.data.DataLoader( dataset=train_dataset, batch_size=32, shuffle=False, # We don't shuffle sampler=torch.utils.data.distributed.DistributedSampler(train_dataset), # 為所有 distributed process 隨機採樣不重複的數據，GPUs/Processe 之間不重複，共有 32 * nprocs 個有效 samples，如果用 torch.distributed，DistributedSampler 會自動獲取 rank 所以不用顯式指定？ ) def _run_epoch(self, epoch): b_sz = len(next(iter(self.train_data))[0]) self.train_data.sampler.set_epoch(epoch) # 每個 epoch 重新打亂一次，否則每個 epoch 隨機抽樣順序一樣每個 process 可能拿到同樣的數據 for source, targets in self.train_data: ... self._run_batch(source, targets)

4. 保存模型 checkpoints。

   - ckp = self.model.state_dict() + ckp = self.model.module.state_dict() ... ... - if epoch % self.save_every == 0: + if self.gpu_id == 0 and epoch % self.save_every == 0: # 只有rank0主進程保存ckp，因為根據上面的ring-allreduce算法每個gpu上的參數相同，集合調用 Collective calls 要在這之前是什麼意思？ self._save_checkpoint(epoch)

5. 運行分佈式訓練（distributed training），torch.multiprocessing是對原生multiprocessing封裝的wrapper。

   - def main(device, total_epochs, save_every): + def main(rank, world_size, total_epochs, save_every): + ddp_setup(rank, world_size) dataset, model, optimizer = load_train_objs() train_data = prepare_dataloader(dataset, batch_size=32) - trainer = Trainer(model, train_data, optimizer, device, save_every) + trainer = Trainer(model, train_data, optimizer, rank, save_every) # 原來是 device，現在是 rank trainer.train(total_epochs) + torch.distributed.destroy_process_group() # 結束訓練要釋放 process group if __name__ == "__main__": import sys total_epochs = int(sys.argv[1]) save_every = int(sys.argv[2]) - device = 0 # shorthand for cuda:0 - main(device, total_epochs, save_every) + world_size = torch.cuda.device_count() # world_size 不一定等於 gpus 數？ + torch.multiprocessing.spawn(main, args=(world_size, total_epochs, save_every,), nprocs=world_size) # mp.spawn 調用時會由 DDP 自動分配 rank 給 process

计算模型显存占用量？

界門綱目科屬種：

動物界 Animalia、脊索動物門 Chordata、爬蟲綱 Reptilia、有鱗目 Squamata、蛇亞目 Serpentes、蚺科 Boidae 和蚺亞科 Boinae、水蚺屬 Eunectes
動物界 Animalia、脊索動物門 Chordata、爬蟲綱 Reptilia、有鱗目 Squamata、蛇亞目 Serpentes、蟒蛇科 Pythonidae 和蟒亞科 Pythoninae、蟒屬 Python

蚺是水裡最大的蛇，蟒是陸地最大的蛇，這讓我突然想到為什麼水生動物比陸地動物更大？最大陸生動物是10噸重7米長的非洲象，最大的水生動物是200噸重33米長的藍鯨。

也許是因為浮力拖舉著讓他們移動受地心引力限制更小，能長大就往大了長了。

人為什麼不能是現在體型的兩倍？如果是因為引力，大不了腿骨密度和肌肉（現在70%）相較於上肢佔比更高些？如果是因為能量，那人類群體少一半也是可以的，也許是因為人是用腦子改變自然適應自己的生物，多一個人比大一倍的自己要好一些吧。或許正是差的那些浮力提高了一部分動物的體型上限。

因為2021年剛買M1時conda還不適配湊合用的是pyenv & virtualenv & miniforge，其難用程度和其他庫的不兼容程度直接導致一直到2021年7月都放棄寫python（記得當時還嘗試過為某些庫編譯apple silicon版本）。後來在vivo和網易都用的high level infra，最後在商湯用的是clusters和每次創建都需要dockerfile新建的機器，或方便或不方便，總之一直沒怎麼用過conda，上次用conda可以追溯到2020年及之前的本科時代。

conda vs. pyenv & virtualenv

pyenv是python版本管理，virtualenv是與之配合的環境（主要是庫的版本，次要是python版本）管理，按理說是能做到跟conda一樣隔離python環境的效果。

pip是package manager，virtualenv是environment manager，conda也是二者之和。

所以conda=pyenv(python version manager) + pip(package manager) + virtualenv(environment manager)。

conda update python會把Python 2.x更新到最新的2.latest，把Python 3.x更新到3.latest。

Library vs. Package vs. Module

mylibrary/
    __init__.py
    module1.py
    module2.py
    subpackage/
        __init__.py
        submodule1.py

1. 一个library可能包含一个或多个包，也可能只包含一个模块。它的目的是提供某些功能，使开发者不必重新发明轮子。
2. 一个package是包含__init__.py文件的目录，__init__.py文件使得这个目录被Python识别为一个包。
3. module是Python代码的一个文件，通常以.py结尾。它可以包含变量、函数、类和可执行代码。模块是最小的代码单元，可以被单独导入使用。

mylibrary, NumPy, Matplotlib 这些都同时是库也是包，怎么叫都行。

# import 引入一个模块或包，通常是整个模块或包。
import math  # 引入模块 math (C实现的数学库)
import numpy  # 引入包 numpy
# from 从一个模块或包中引入特定的功能（如函数、类、变量都可以）。
from math import pi  # 从模块 math 中引入变量 pi
from math import sqrt  # 从模块 math 中引入函数 sqrt
from numpy import linalg  # 从包 numpy 中引入子包 linalg

venv vs. virtualenv

venv是Python3内置的标准库，用法是python3 -m venv。
我2021年用的是pyenv里带的插件pyenv-virtualenv，不是标准库，用法就如上面的表格。

PyPI

PyPI是一個Python官方的包倉庫，直接pip install package就會搜索PyPI，官網把library/package又叫作project，除了可以從PyPI下載，還可以：

1. 在本地pip install，
2. 任意服務器pip install UR，
3. 或者用git repo，
4. 或者公有/私有鏡像pip install —index-url 或 -i，
5. 或者conda倉庫conda install。

environment.yml和requirement.txt

dockerfile、makefile、environment.yml都是軟件（docker、make、conda）自定義的語法，用Go、C、PyYAML解析。

conda裡用pip：
默认通过 Conda 通道安装，支持通过 pip 安装包，都會安裝到當前環境的site-packages裡，pip只會安裝在當前環境裡，在yaml文件裡會在dependencies:裡多一個- pip:- xxx。

pip install -r requirements.txt就相當於把requirements.txt的內容展開按順序放在install之後，如果希望安裝PyPI之外的資源，類似conda env create -f environment.yml這樣指定channel的話，可以直接在pip install -r requirements.txt之後添加-i，或者把-i放進txt首行也行。

conda的channels：

1. default通道就是官方倉庫。
2. conda-forge是最主要的第三方倉庫。
3. conda config --show channels看配置了哪些channels。
4. conda config --add channels conda-forge添加channel。
5. conda config --set channel_priority strict可以指定搜索順序，比如把conda-forge設置在default之前獲取最新更新。

PyTorch

https://pytorch.org/get-started/locally/
pytorch pytorch-cpu pytorch-gpu pytorch-cuda真JB乱套，组里服务器是cuda12.4，最后我只留下了从上面链接里下的pytorch和pytorch-cuda。
等跑完導電就把這個打包新的environment.yml上傳到github，不然總亂套。

vscode ssh remote開發時跳轉函數定義

在服務器上沒法按著command跳轉到模塊裡，查了下想起來vscode的extensions需要在服務器上再裝一遍，裝完Python插件果然立刻就好了。
有些找不到位置無法訪問但是確實裝了的庫選對解釋器位置就好了（shift+command+p 重新选择python解释器）。

24號回家的火車上再讀cosmos

The known is finite, the unknown infinite; intellectually we stand on an islet in the midst of an illimitable ocean of inexplicability. Our business in every generation is to reclaim a little more land, to add something to the extent and the solidity of our possessions. ——Thomas Huxley, 1887

Excerpt From Cosmos, Carl Sagen

看残酷天堂群有人说到退休储蓄pretax 401k match > > roth IRA > pretax/roth 401k > backdoor IRA > personal brokeage account，中国的从朱镕基开始的由社会保障体系取代单位负责退休金是怎样的机制？以前的单位负责分非货币化的房和退休金相比如今确实是两个世界。
浦東是朱鎔基被鄧小平提拔之前在上海跟江澤民共事時開發的。
學而不思欠擬合，思而不學過擬合。

BUGs

• 出现两个环境前缀。

  (molgen) (base) liuhao@zju0:~/MolGen$ conda deactivate (base) (base) liuhao@zju0:~/MolGen$ conda deactivate liuhao@zju0:~/MolGen$ conda activate molgen (molgen) liuhao@zju0:~/MolGen$

最高人民检察院关于全面深化检察改革、进一步加强新时代检察工作的意见
发布时间：2024年12月05日
二、健全坚持党对检察工作绝对领导制度体系
3.坚持和加强党中央集中统一领导。持续擦亮坚定拥护“两个确立”、坚决做到“两个维护”的鲜明政治底色，切实做到检察工作方向由党指引、检察工作原则由党确定、检察工作决策由党统领。严格落实“第一议题”制度，完善习近平总书记重要指示批示和党中央重大决策部署在检察机关落实机制。严格执行请示报告制度。
4.持续加强党的创新理论武装。学深悟透习近平新时代中国特色社会主义思想，学思践悟习近平法治思想，健全以学铸魂、以学增智、以学正风、以学促干长效机制。加强理想信念教育和职业道德教育，分级分类开展检察人员政治轮训。
5.完善检察机关党的建设制度机制。坚持以政治建设为统领，增强检察机关各级党组织政治功能和组织功能。做深做实政治素质考察，深化检察系统内巡视和政治督察。完善检察机关党员教育管理、作用发挥机制，推进党建和业务深度融合。加强新时代检察文化建设，培育“忠诚、为民、担当、公正、廉洁”的新时代检察精神，优化检察英模人物选树学习机制，让求真务实、担当实干成为检察人员的鲜明履职特征。
6.健全检察机关意识形态工作机制。全面落实意识形态工作责任制，坚决捍卫意识形态安全。坚持敢于斗争、善于斗争，坚决抵制西方“宪政”、“三权鼎立”、“司法独立”等错误观点。常态化开展检察人员现实思想调查分析，落实谈心谈话制度。

这是中国人的强化学习。

其他人的强化学习：

公权力法无授权不可为；私权法无禁止皆可为。德国基本法 Basic Law for the Federal Republic of Germany,
Article 20: [Constitutional principles – Right of resistance]
(3) The legislature shall be bound by the constitutional order, the executive and the judiciary by law and justice.
(4) All Germans shall have the right to resist any person seeking to abolish this constitutional order if no other remedy is available.
Article 2: [Personal freedoms]
(1) Every person shall have the right to free development of his personality insofar as he does not violate the rights of others or offend against the constitutional order or the moral law.
(2) Every person shall have the right to life and physical integrity. Freedom of the person shall be inviolable. These rights may be interfered with only pursuant to a law.

公民没有自证清白的义务。谁主张，谁举证。美国宪法第五修正案 The Fifth Amendment to the United States Constitution 关于 Self-Incrimination :
No person shall be held to answer for a capital, or otherwise infamous crime, unless on a presentment or indictment of a Grand Jury, except in cases arising in the land or naval forces, or in the Militia, when in actual service in time of War or public danger; nor shall any person be subject for the same offence to be twice put in jeopardy of life or limb; nor shall be compelled in any criminal case to be a witness against himself, nor be deprived of life, liberty, or property, without due process of law; nor shall private property be taken for public use, without just compensation.

DQN

Pytorch DQN Tutorial, code.

A2C

https://hrl.boyuai.com/chapter/2/策略梯度算法/
A2C, code.

Gymnasium

https://gymnasium.farama.org/

為所有單 Agent RL Environments 提供 API，並實現了一些常用環境。

Env

Env 是 Gym 的核心，是個實現了 Markov 決策過程的類，能生成 initial state、給定 action 转移到下一个 state、可视化 environment。Wrapper 用来修改 environment，即修改 agent observations, rewards, actions。

使用 Gym 有四个关键函数 make(), Env.reset(), Env.step(), Env.render()。

初始化环境

import gymnasium as gym
env = gym.make('CartPole-v1')

make() 返回一个可交互的 Env 对象，pprint_registry() 查看所有可以创建的环境。

可以指定 environment 内部定义的 render_mode，可以为 None, 字符串比如 human, rgb_array, rgb_array_list 等，以 rgb_array 和 rgb_array_list 为例：

frame = env.render(render_mode='rgb_array')  # 返回单个图像帧 (3 维 numpy 数组)
frames = env.render(render_mode='rgb_array_list')  # 从环境开始到当前 time step 的所有图像，[frame_1, frame_2, ..., frame_n]，每个 frame 都是 3d numpy array

用 register 初始化的话， 可以用

gym.register(id="namespace/mandatory name-optional version", entry_point=class)

gymnasium.pprint_registry() 能打印所有注册的环境，注册过才可以用 gymnasium.make() 创建，gymnasium.make_vec(, num_envs=n) 可以生成 n 个并行的相同环境。

环境交互

参考上面经典的 “agent-environment loop”，Agent 会收到一个环境的 observation，然后选择一个 action，environment 用它来决定 reward 和下一个 observation。

!pip install swig "gymnasium[box2d]"
import gymnasium as gym

env = gym.make("CartPole-v1", render_mode="human")
observation, info = env.reset()  # reset(seed, options), 特定 environment 可以输入一个 dict 选择初始化的方式，reset 即得到 first observation

episode_over = False  # 结束循环 flag
while not episode_over:
    action = env.action_space.sample()  # agent policy that uses the observation and info，随机从 action space 选一个
    observation, reward, terminated, truncated, info = env.step(action)  # 执行指定 action，一次 action-observation 的 exchange (给 Env 一个 action 交易到一个新 state / observation) 是一个 timestep

    episode_over = terminated or truncated  # terminated 是环境终止，比如 robot 掉进 lava 这种，truncated 用于在一定 timesteps 之后终止 Env

env.close()  # 有时不希望 close Env 就用 reset 重新开始

动作和状态空间

任何 environment 都指定了有效的 actions 和 observations，存在 attributes action_space 和 observation_space 里，有助于理解环境期望的输入输出。

Env.action_space 和 Env.observation_space 都属于 Space 类的 instances，主要有两个函数 Space.contains()和 Space.sample()。

Gym 支持很多种数据结构的 spaces：

• Box
• Discrete
• MultiBinary
• MultiDiscrete
• Text
• Dict
• Tuple
• Graph
• Sequence

修改环境

Wrappers 可以修改 environment 而不改变其代码，大多数用 gymnasium.make() 产生的环境都是默认被 TimeLimit (定义一个 truncated timestep)、OrderEnforcing (reset 之前 step 或 render 会报错)、PassiveEnvChecker (检查 reset 是否返回符合规范的初始状态 obs 和信息 info，检查 step 是否返回格式正确的 (obs, reward, done(terminated, truncated), info)，检查 render (可选) 是否是合理的可视化)。

其中 PassiveEnvChecker 这层 wrapper 可以在 make 时通过 , disable_env_checker=True 去掉。

除此之外比如 FlattenObservation，

import gymnasium as gym
from gymnasium.wrappers import FlattenObservation
env = gym.make("CarRacing-v3")
env.observation_space.shape
(96, 96, 3)
wrapped_env = FlattenObservation(env)
wrapped_env.observation_space.shape
(27648,)
wrapped_env
<FlattenObservation<TimeLimit<OrderEnforcing<PassiveEnvChecker<CarRacing<CarRacing-v3>>>>>>
wrapped_env.unwrapped
<gymnasium.envs.box2d.car_racing.CarRacing object at 0x7f04efcb8850>

unwrapped 可以得到最里面的 base environment。

AtariPreprocessing 也是个 warpper，会完成 Noop Reset (返回执行过随机次 no-op 的 initial state, default max 30 no-ops), Frame Skipping (4 by default), Resize to a square image (210x180 to 84x84 by default), Grayscale observation (默认转灰度图), Grayscale new axis (保留 channel 维度为 1，默认不保留) 等。

自定义环境

• 为 class CustomEnv(gym.Env) 实现 __init__ (包括定义 agent / target location 和 actions)
• 构建 observations
• 实现reset, step
• 包装 wrappers
• register / make

ALE

http://ale.farama.org/

rom_file = "Breakout.bin"  # WARNING: Possibly unsupported ROM: mismatched MD5.
from ale_py import ALEInterface, roms
ale = ALEInterface()
ale.loadROM(roms.get_rom_path("breakout"))  # /Users/v2beach/.pyenv/versions/miniforge3-4.10/lib/python3.9/site-packages/ale_py/roms/breakout.bin
print(ale.getLegalActionSet())  # [<Action.NOOP: 0>, <Action.FIRE: 1>, <Action.UP: 2>, <Action.RIGHT: 3>, <Action.LEFT: 4>, <Action.DOWN: 5>, <Action.UPRIGHT: 6>, <Action.UPLEFT: 7>, <Action.DOWNRIGHT: 8>, <Action.DOWNLEFT: 9>, <Action.UPFIRE: 10>, <Action.RIGHTFIRE: 11>, <Action.LEFTFIRE: 12>, <Action.DOWNFIRE: 13>, <Action.UPRIGHTFIRE: 14>, <Action.UPLEFTFIRE: 15>, <Action.DOWNRIGHTFIRE: 16>, <Action.DOWNLEFTFIRE: 17>]
ale.act(0)
rgb_image = ale.getScreenRGB()
import matplotlib.pyplot as plt
plt.imshow(rgb_image)
plt.show()

可以这样每次执行一个动作都用 ALE Python interface 保存 screenshots。

用 Gym

用原始 API 比较方便，不用学两套 function，

import gymnasium as gym
import ale_py
gym.register_envs(ale_py)
env = gym.make_vec("ALE/Breakout-v5", num_envs=4)

# 或者make_vec_env，跟 register 一样是过时版本，但可能会遇到
make_vec_env("ALE/Breakout-v5", n_envs=4, vec_env_cls=stable_baselines3.common.vec_env.DummyVecEnv)

这个 env 其实就是对上面 ALEInterface() 的 wrapper 封装，用下面的方法可以直接操作 base env ALEInterface：

ale_interface = env.unwrapped.ale
current_state = ale_interface.cloneSystemState()

print(ale_interface.getAvailableModes())  # [0, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44]
print(ale_interface.getAvailableDifficulties())  # [0, 1]
print(current_state.getCurrentMode())
print(current_state.getDifficulty())

ale_interface.setMode(ale_interface.getAvailableModes()[3])
ale_interface.setDifficulty(ale_interface.getAvailableDifficulties()[1])  # 但修改了模式和难度游戏内没发现变化

ale_interface = env.unwrapped.ale
current_state = ale_interface.cloneSystemState()
print(current_state.getCurrentMode())
print(current_state.getDifficulty())

# /Users/v2beach/.pyenv/versions/miniforge3-4.10/lib/python3.9/site-packages/ale_py/ 除了 roms/breakout.bin 就是 env.py
"""
render_mode: str => One of { 'human', 'rgb_array' }.
    If `human` we'll interactively display the screen and enable game sounds. This will lock emulation to the ROMs specified FPS
    If `rgb_array` we'll return the `rgb` key in step metadata with the current environment RGB frame.
"""

可以在训练的时候用 rgb array，推理 render 的时候用 human。

Frame Skipping and Preprocessing

这篇文章写得相当好。

Training an Agent

https://gymnasium.farama.org/introduction/train_agent/

Stable Baseline 3

pip install "stable-baselines3[extra]"

直接看代码，反正 Gym ALE Stable-baseline 的 doc 也是直接贴代码。

pre-trained zoo 里 breakout 模型都训了 10M 个 timesteps，作者是这个，打砖块代码分别存在 1, 2, 3 里面。

import gymnasium as gym
import ale_py  # 这是 Env 类
gym.register_envs(ale_py)

# env = gym.make_vec('ALE/Breakout-v5', num_envs=4, frameskip=1, render_mode="human")
# env = gym.wrappers.AtariPreprocessing(env)

from gymnasium.wrappers import AtariPreprocessing
from stable_baselines3.common.vec_env import DummyVecEnv, SubprocVecEnv

def make_env():
    env = gym.make('ALE/Breakout-v5', frameskip=1, render_mode="human")
    env = AtariPreprocessing(env)
    env = gym.wrappers.FrameStackObservation(env, stack_size=4)
    return env
env = DummyVecEnv([make_env for _ in range(4)])

# print(type(env.observation_space), env.observation_space.shape, type(env.action_space), env.action_space)

from stable_baselines3 import DQN
# model = DQN('CnnPolicy', env, verbose=1)
# model.learn(total_timesteps=10_000_000, progress_bar=True)
# model.save("xxx-BreakoutNoFrameskip-v4")
model = DQN.load("dqn-BreakoutNoFrameskip-v4",  env=env, custom_objects={
    "optimize_memory_usage": False,
    "handle_timeout_termination": False
})
# env = model.get_env()  # 这里需要保证跟 model 的环境一致，用非 vec 的写法可以生成 model 但其实跟训练环境不一致
obs = env.reset()
done = False

while not done:
    actions, _states = model.predict(obs, deterministic=True)
    obs, rewards, dones, info = env.step(actions)
    env.render("human")  # img = env.render(mode='rgb_array') if rgb_array, 而且确保在初始化环境时正确配置了渲染模式, make(,render_mode=)

文章里的大部分术语都能在cs231n筆記里找到解释。

药物发现里一个主要的挑战是，设计具有所需属性的药物。化学空间里有成药潜力的分子有 10^23 到 10^60 个，人类已合成过的分子量级是 10^8 。研发一种新药的平均开销 1～2 billion 美元，在 100 亿人民币上下，平均研发时间是 13 年。

新药研发开销：

1. 药物发现阶段 (Discovery Phase)
   • 靶点筛选、化合物筛选、药理研究等；
   • 成本占研发费用 10%～20%。
2. 临床前研究 (Preclinical Phase)
   • 动物实验、药物代谢研究、毒性试验等；
   • 需要 1 到 3 年时间，成本在几千万美元到 1 亿美元之间。
3. 临床试验阶段 (Clinical Trials)
   • Phase I: 一期关注药物安全性，开销几百万到几千万美元在少数健康志愿者中进行；
   • Phase II: 二期评估有效性和进一步安全性，开销几千万美元在少数患者中测试；
   • Phase III: 三期是整个研发过程中最贵的阶段，要在成千上万患者中进一步证明有效性和安全性。
4. 审批和上市阶段 (Approval and Launch Phase)
   • 监管机构审批，提交大量的临床数据和文献，需要大量行政支持。
     • 美国食品药物监管局 FDA (Food and Drug Administration) , 欧盟附属机构欧洲药品管理局 EMA (European Medicines Agency), 国家药品监督管理局 NMPA (National Medical Products Administration)
   • 上市后市场推广和营销，需要上亿美元。
5. 研发失败
   • 药物研发的成功率非常低，只有1/5,000到1/10,000的候选化合物最终能够成功上市。
   • 平均研发十三年和平均开销 1～2 billion 美元里面，有很大一部分项目在临床前和临床阶段失败。

传统上，化学家和药理学家通过他们的直觉和专业知识来识别新分子。尽管用 Lipinski’s RO5 可以减少可能成药的分子数量，但搜索空间还是过大。为了进一步减小搜索空间，人们开始使用 high-throughput screening (HTS) 高通量筛选，但任务仍然难以完成。现在，计算方法可以用于减小药物搜索空间和缩短研发新药的时间。

高通量筛选：

1. 研究人员准备化合物库 (Compound Library) 或药物库 (Drug Library)
   • 化学合成
     • 可以通过多步合成，每步通过化学反应加上一个新的基团。
     • 现代化学合成可以用自动化的反应装置，短时间合成大量化合物。
   • 天然产物，即从植物、微生物、海洋生物等中，提取分离。
   • 生物制药，从动物、人体提取。
   • 药物衍生再设计，改造现有药物，通过增删改基团可以改变分子的性质。
   • 基因工程微生物可以被设计成发酵过程中生产不同化学物质。
   • 以上过程也可以跟计算机辅助药物设计 (CADD) 结合，用分子对接、分子动力学筛选化合物。
2. 实验筛选
   • 在微孔板（通常是96孔、384孔、1536孔板等）的每个孔中放入一个化合物，
   • 测量其与目标的相互作用，例如酶的活性变化、细胞生长或死亡、荧光信号变化等。
3. 数据分析

property generation

3 个数据集：

• Moses 1.6M
• Zinc 250K
• GDB13 rand 1M

7 个 baseline：

• GCPN: graphs
• JTVAE: graphs
• MolGPT: SMILES
  • MolT5?效果如何
• MolGAN: graphs
• MolDQN: graphs, Q-learning
• GraphDF: flow
• LSTM+RL

用这些数据的开源代码，在 QED 上优化，用 baseline 在各自论文里描述的 reward function。
Hardware: one TITAN RTX GPU, 60GB RAM, and an eight-core CPU.
模型超参：

• 4 masked transformer decoder layers
• 8 attention heads
• 1024d fc
• 512d embedding
• 3 epochs gpt
• 100 steps with each step averaging 500 molecules in RL stage
• REINFORCE algorithm discount factor 0.99, max seq size 150 chars
• character-level tokenization

其中 reward function：

Metrics：

• validity, rdkit 能生成 molecule 对象就是 1，否则 0；
• novelty, 训练集没出现的生成数据；
• diversity, 去重，这三个指标筛选后的再参与下面两个指标的比较。
• QED, 博客里聊过，这里用 8 个性质 (molecular weight, AlogP, hydrogen bond donors, hydrogen donor acceptors, molecular polar surface area, rotatable bonds, aromatic rings, structural alerts) 得到 0～1 结果；
• SAS, 大于 6 难以合成。

property optimization

2 个数据集：

• ChEMBL IC50，移除了只有范围数据的分子，只用治疗阿尔茨海默病的潜在靶点 BACE 1 这个 β-分泌酶1 (Beta-secretase 1) 的数据，从10164 条里筛选出了 9331 个样本。
• 400 个分子来自 anti-cancer activity dataset like FDA approval, clinical trials, DrugBank, etc

他们用 Chemprop 而不是 RDKit 预测分子的 anti-cancer 性质数据，用 batch-size 50 训练了 30 epochs, lr 1e-4, ensemble size 2.
然后对 ChEMBL 数据用 exp(pIC50/3) 为奖励函数，对抗癌数据用 Chemprop 预测的 0～1 probability 结果作为奖励函数。

得到的结果有问题：

1. 3 个数据集的 Baseline 跟上面 Taiga stage 1 的数据对不上；
2. 用 pIC50 作为奖励函数，模型评估指标也是 pIC50，这种 IC50 亲和力表现提高 20% 的提升是不是不太公平？

之后还有很多试验，包括 tokenizer 和 w/o w/ RL 的 Validity(↑) Divesity(↑) Novelty(↑) QED(↑) SAS(↓) 结果，但不知为何后者没有 SAS 结果。

MDP: M = (S, A, P, R, γ )，这里我感觉文章里的表达逻辑混乱，梳理一下：

• 状态空间 $S = \{s_i\}$，$0 < i \leq t$，SMILES 串的长度 $t \leq T$ ，其中 $T$ 表示在模型生成 [EOS] 标记或达到最大长度时的终止状态；而 $s_0$ 是初始状态，它是一个空字符串。
  • 每一个 $s$ 都被表示为一个向量？向量里每一个字符都来自 $\{0, \dots, n\}$ 的 SMILES 字符集。
• 动作空间 $A = \{a_i\}$，每个 $a_i$ 都来自 $\{0, \dots, n\}$ 的 SMILES vocabulary。
• 转移概率 P，由于状态空间和动作空间仅由字符组成，因此转移概率简单地为 $p(s_{t+1} | s_t, a_t) = 1$，因为添加字符是确定性的。
• 奖励函数 R，定义所有中间状态的奖励为零，即 $R(s_t) = 0$。$R(s_T) = f(s_T)$ 函数应用于最终生成的分子，$\gamma$ 是折扣因子。

具体做法是 stage 2 每一个 token 作为 action，最后如果符合要求（QED, anti-cancer）则 reward = 1，前面每一步都是 0。
为什么不合并为 1 个 stage？
大概因为刚开始训练时模型生成的 SMILES 太随机，符合要求的几率太低，都是无效样本。

Atom vs. Molecule

這裡的原子軌道其實是錯的，

電子不是以確定的軌道運動的，是以波動的形式分布在原子核周圍，無法被精確定位，它的分布區域叫電子雲 (Electron Cloud) ，電子雲是一個概率分佈。

基態到激發態電子的能級變高，離原子核就越遠，改變軌道後會產生不同形狀的電子雲。

比如碳 Carbon C 的基態電子分布是1s² 2s² 2p²，其中第二能層有兩種軌道， p 軌道離原子核比 s 軌道更遠，所以能量更高，吸收能量到激發態時可能電子會先從 s 軌道跳到 p 軌道，這裡的吸收能量通常是光子能量，不同波長的光子對應不同的能量。激發態的 C 可能變成 1s² 2s¹ 2p³ / 1s² 2s² 2p¹ 3s¹ / 1s² 2s² 2p¹ 3p¹ 等。

分子裡的電子跟原子類似，電子只能佔據有特定能量的分子軌道，分子軌道是各個原子的原子軌道通過量子力學的線性組合，化學鍵（共價鍵、離子鍵、金屬鍵）是原子的電子雲重疊的結果，是通過量子力學中的波動函數互動產生的量子效應。

• 共價鍵 (Covalent Bond) 是兩個原子共享電子，比如乙炔的 C≡C 碳碳三重鍵和碳氫單鍵都是共價鍵。比如這裡的 C-H 碳氫單鍵是由 C 的 sp 混合軌道和 H 的 1s 軌道重疊所形成的較強 σ 鍵。
• 離子鍵 (Ionic Bond) 是一個原子將電子完全轉移到另一個原子，從而形成帶正電的陽離子和帶負電的陰離子。比如氯化鈉是 Na 原子將一個電子轉移給 Cl 原子形成 Na⁺陽離子和 Cl⁻陰離子。通常是活潑的金屬原子和非金屬原子形成，HCl是共價鍵。
• 金属键 (Metallic Bond) 是金屬元素間共享自由移動的電子，形成電子海 (Electron Sea)，自由地在整個金屬結構中移動。比如鋼鐵 Fe 中的鐵原子由金屬鍵結合，自由電子（“束縛電子”或“導電電子”）在金屬原子間流動，並且在金屬原子周圍形成一種電場，使得正離子（金屬原子核）保持緊密排列並且相互吸引。

物質

物質（Substance）是指具有一定質量和體積的物體，它由原子、分子或離子等基本單位組成。物質不都是分子，分子只是原子通過共價鍵結合成的粒子，比如 NaCl 是離子化合物。

• 元素 (Elements) 是由相同類型的原子組成的純物質，無法分解成更簡單的物質。
• 化合物 (Compounds) 是由兩種或更多種不同化学元素通過化學鍵結合而成的物質，具有固定的成分比例，且不同於其組成元素的性質。
• 混合物 (Mixtures) 是由兩種或多種不同物質（元素或化合物）物理結合而成，成分比例可以變化，且各成分保持其原有性質。

有机物

有机物 / 有机化合物 (organic compound/chemical) 是分子中包含碳-氢或碳-碳共价键的化合物，通常等价于烃，常有碳碳键。

在去年的 wiki 里有过相关学习。

分子間作用力

原子與原子之間的作用力，我們稱之為『化學鍵』(離子鍵、共價鍵、金屬鍵)；而分子與分子間的作用力 (Intermolecular force : IMF; also secondary force)，有『凡得瓦力(van der Waals forces)』、『氫鍵(Hydrogen Bonding)』以及 Ion-dipole forces / Ion-ion forces。

極性

極性 (Polarity) 是指分子內部電荷分布不對稱，導致分子呈現某種程度的正負極性。所以離子一般都有極性。
共價鍵也會有極性，比如水分子 (H₂O)，O 比 H 更具電負性，所以水分子中氧原子帶負電，氫原子帶正電。極性分子因此具有了偶極 (dipole)，偶指的是分子內部有兩個電極（正、負）。

範德華力

是三種 Dipole-dipole force/interaction 偶極-偶極力。

相似相容 (like dissolves like)

溶解的本質是溶劑 (Solvent) 和溶質 (Solute) 之間的作用力大於溶劑分子之間、溶質分子之間的作用力，以結合溶質分子和溶劑分子。

溶解分為四種情況：

• 極性溶劑，極性溶質；
  • 極性分子內部有偶極，極性分子之間偶極可以正負互相吸引，即普通的偶極-偶極力。
  • 極性離子跟極性分子會產生 離子-偶極力。
• 非極性溶劑，非極性溶質；
  • 是另一種範德華力，非極性文子沒有永久偶極，但有瞬時偶極（伦敦色散力）。
• 極性溶劑，非極性溶質；
  • 溶解是一个克服能量障碍的过程。
  • 極性溶液裡，溶劑分子之間的 偶極-偶極力 很強，溶質分子的瞬時偶極跟溶劑分子之間的 伦敦色散力 不足以破壞溶劑分子之間的力。
• 非極性溶劑，極性溶質，跟極性溶液非極性溶質一樣的道理。

一般來說溶劑都是 共價鍵 化合物，也有離子溶劑存在，如熔融鹽 (如 NaCl )。

離子-偶極力

Ion-dipole Forces

這是帶電的離子與極性分子之間的作用力。例如，在水溶液中，帶正電的離子（如Na⁺）會與水分子的負極性（氧端）相互作用，形成離子-偶極力。

離子-離子力

Ion-ion Forces

帶電離子之間的 靜電引力（庫倫力）$F = k_e \frac{|q_1 q_2|}{r^2}$，這個分子間作用力跟原子間的離子鍵一樣是因為靜電力粒子間相互吸引。

氫鍵

Hydrogen Bonding

氫鍵是一種特殊的分子間作用力，發生在氫原子與某些具有高電負性的原子（如氟、氧或氮）之間。氫鍵比一般的凡得瓦力強，並且在水（H₂O）、氟化氫（HF）、氨（NH₃）等分子中起著重要作用。

例如，在水分子中，氫原子與氧原子之間形成氫鍵，使得水的熔點和沸點比許多其他小分子要高。

結構和性質對應關係

一些性質參數

LogP（疏水度）

P 是分子在 辛醇（octanol）和水之间的分配系数 (Partition Coefficient)。(octanol-water partition coefficient)

$P = \frac{[\text{分子在辛醇中的浓度}]}{[\text{分子在水中的浓度}]}$

$\text{LogP} = \log_{10}(P)$

• LogP > 0 表示親脂，因為在辛醇裡濃度比水中大。
• LogP < 0 表示親水，因為在辛醇裡濃度比水中小。

• LogP = 0，親水性 = 疏水性。

• 药物设计：LogP 影响药物的 吸收、分布和渗透性，通常要求 LogP 值适中（例如 0-5）。

• Lipinski’s Rule of Five 中，LogP < 5 是成药性的重要规则之一。
• 苯（C6H6）：LogP ≈ 2.1（疏水性较强）；乙醇（CH3CH2OH）：LogP ≈ -0.2（亲水性）。

LogS (親水度)

S 是分子在水中的溶解度 (Solubility)。

$S = 分子在水中的饱和溶解度(mol/L)$

• 药物开发：良好的溶解性（高 LogS）对药物吸收和生物利用度至关重要。
• 乙醇：LogS ≈ 1.6（溶解性高）。
• 阿司匹林：LogS ≈ -2.0（溶解性较低，需要助溶策略）。

MW

Molecular Weight: 分子质量，单位道尔顿 (dalton, Da) 是碳 12 (质子和中子数都是 6 ) 质量的 $\frac{1}{12}$ 即 $= 1.661×10^{-27} kg$。

比如在药物设计里，过大分子可能难以通过细胞膜。

TPSA

Topological Polar Surface Area: 分子上所有极性原子的表面积，常用于评估分子的透过生物膜的能力。

Hydrogen Bond Donors and Acceptors, RO5

氢键供体和受体的数量，影响分子的生物活性。

Lipinski’s rule of five:

• No more than 5 hydrogen bond donors (the total number of nitrogen–hydrogen and oxygen–hydrogen bonds)
• No more than 10 hydrogen bond acceptors (all nitrogen or oxygen atoms)
• A molecular mass less than 500 daltons
• A calculated octanol-water partition coefficient (Clog P) that does not exceed 5

藥物設計的五個基本規則，rule of five(RO5)，包括上面說到的logP、分子質量、氫鍵供受體。

導電性

1. HOMO-LUMO Gap (Highest Occupied Molecular Orbital - Lowest Unoccupied Molecular Orbital Gap)：
   • HOMO-LUMO间隙是指分子的最高占据分子轨道（HOMO）与最低空分子轨道（LUMO）之间的能量差。
   • homo-lumo gap 越小，分子中的电子越容易从HOMO跃迁到LUMO，从而激发出电荷载体，这有助于电子的流动，提高导电性。
   • 金属材料（如金、银）的HOMO-LUMO间隙几乎为零，意味着电子能在材料中自由流动，因此它们具有非常好的导电性。
   • 有机半导体材料（如有机太阳能电池中的材料）通常具有适中的HOMO-LUMO间隙，使其在特定条件下能够导电。
   • 绝缘材料（如陶瓷或某些高分子材料）具有较大的HOMO-LUMO间隙，因此它们几乎不导电。
2. Electron Affinity：
   • 電子親和力表示分子或材料获取一个电子的能力。通常以电子伏特（eV）为单位。
   • 親和力越高，材料的导电性越好。
   • 有机半导体材料（如聚合物电池或有机光伏材料）通常具有较高的电子亲和力，允许电子在电场作用下迅速移动，从而提高导电性。
3. Charge Mobility：
   • 電荷遷移率表示电荷载体（如电子或空穴）在电场作用下的迁移速度。
   • 迁移率越高，材料的导电性越好。
4. Polarizability：
   • 极化性是指材料在外电场作用下电子云的变形程度，极化性高的材料能更好地响应外电场。
   • 高极化性的材料能更好地调节其电子云，增加电子流动性。
   • 太陽能電池的有機材料聚苯胺（PANI）和聚吡咯（PPy）有很高極化性。
5. Ionization Energy：
   • 电离能是将分子中的一个电子从其最低能级移除所需要的能量。
   • 低电离能的材料更容易释放电子，釋放電子後材料會表現強導電性。
   • 电金属如铜和银有較低的电离能。
6. Electron Density：
   • 分子的电子密度高，电子就容易在分子内自由移动。
   • 导电金属如铜和银有非常高的电子密度。

pKa, pKb

pKa (Acid dissociation constant): 用来描述酸在水溶液中的离解程度，是分子酸性或碱性强弱的一个重要参数。

强酸：$pKa$ 值较小，酸容易离解；弱酸：$pKa$ 值较大，酸不容易离解。

用 pKa 能得到 pKb (Base Dissociation Constant, Kb)。

pK

pK 是亲和力值的负对数，即 pK = -log(亲和力)。

亲和力

什么是配体——
配体 (ligand) 可以理解为一种“钥匙”，它能够与蛋白质或其他大分子上的“锁”（即靶标, target）相结合。这个“锁”通常是蛋白质表面上的一个特定部位，也叫做结合位点。当配体（钥匙）与锁结合时，它会改变锁的功能或启动某些生物反应。
比如药物分子就是配体，它们通过结合到病菌或人体内某些蛋白质上，来调节这些蛋白质的活性，从而达到治疗疾病的效果。配体不仅仅是药物，也可以是体内的激素、神经递质等分子，它们都在调节身体各种功能时发挥着重要作用。

AutoDock 中的“Dock”即所谓 Molecular Docking 分子对接是指预测 / 模拟配体小分子如何跟靶标大分子结合，预测结合模式、结合强度以及生物学效果，比如模拟阿司匹林分子在COX酶的结合位点中的各种可能的构象，评估每种构象的结合强度。

分子之间 / 抗原抗体亲和力检测方法有——

• 动力学方法
  • 表面等离子共振 (SPR),
  • 生物膜干涉 (BLI),
• 热力学方法
  • 等温滴定量热法 (ITC)
  • 差示扫描量热仪 (DSC)
• 饱和浓度法
  • ELISA

指标有——

• IC50 半抑制浓度(或称 IC₅₀ 为半抑制率，半最大抑制浓度)
  • 描述一个化合物抑制目标（如酶或受体）功能的浓度。表示实验中抑制作用达到50%的化合物浓度。
  • 单位是 μM 或 nM 表示药物的浓度。
  • IC50 低于 100 nM 被认为有高亲和力，低于 10 nM 意味着分子对目标亲和力非常强，高于 100 nM 甚至超过 1 μM 表示亲和力弱。
• pIC50=-log(IC50)，p 只有在化学里表示 negative logarithm，比如 pH = -log₁₀([H⁺] mol/L)。
• EC50
• Ki
  • 抑制常数（inhibition constant），反应抑制剂对靶标的抑制强度，越小越强。
  • $Ki=\frac{IC50}{1+\frac{[S]}{Km}}$ S是底物浓度；
  • $Ki=\frac{IC50}{1+\frac{[A]}{EC50}}$ A是受体激动剂浓度
• Kd、KD 一回事
  • 解离常数（dissociation constant）
• Ka
  • 结合常数（association constant）
  • Ka=1/Kd
• Km
  • 米氏常数（Michaelis-Menten constant）
  • 酶本身的一种特征参数，酶促反应达到最大反应速度一半时底物S的浓度。
• Kon
  • 结合速率常数（association rate constant）
  • 代表分子间结合时的快慢，单位为$M^{-1}∙S^{-1}$。
• Koff
  • 解离速率常数（dissociation rate constant）
  • 代表分子间解离时的快慢，单位为$S^{-1}$。

分子生成

1. Target-Agnostic Generation
   • 目标无关生成，類似 vanilla vae 和 gan 都是不加控制的、没有特定目标的生成。
2. Target-Aware Generation
   • 目标相关生成，在训练时把目标信息作为输入，或在奖励函数中引入目标信息，類似 conditional vae/gan，允許用類別標籤、圖像、文本描述控制生成。
3. Conformation Generation
   • 构象生成，考慮分子三維結構（即構象），這對性質也至關重要，构象生成不仅需要生成分子的二维连接图，还需要考虑分子的空间排列（如旋转、弯曲等）。

Data

雖然說物質（元素或化合物）不都是分子，但分子生成的數據是廣義的分子，比如離子化合物和通常以晶體結構存在的純金屬也算。

• 1D 分子表示方法，除了化学计量式 Stoichiometric formula 如水（H₂O）二氧化碳（CO₂）之外有以下几种，
  1. SMILES
     • 以及各种变种，比如规范化 canonical SMILES，通过把 SMILES 展开为图 graph 结构，然后字典排序 (Lexicographic Order)，从最小原子以唯一的遍历顺序便利环和分支结构，确保每个分子有唯一的 SMILES 表示。
  2. InChI
  3. Morgan Fingerprints

• 2D，由于数据比较少，直接在这列举，

  • Pixels (像素)

    • USPTO-30K，10K 行数据，300M；

      

    • DECIMER，手绘分子图，5K 张

      

    • Molecule OCR Real images Dataset，分子截图，300 张

• 3D datasets
  • Voxels (体素，体积元素)

这些表示方法的唯一性和可翻转性见附录。

SMILES

Simplified Molecular Input Line Entry System

InChI

• International Chemical Identifier 生成
• web demo

比如乙醇 (Ethanol)：
InChI=1S/C2H6O/c1-2-3/h3H,2H2,1H3

• Main layer (always present)
  1. 1：版本號，目前是 version 1；
  2. S：standard，如果是 non-standard 就是 InChI=1/C2H6O/c1-2-3/h3H,2H2,1H3 略過 S；
  3. 分子式 (無前綴)
     • C2H6O：由2个碳原子（C）、6个氢原子（H）和1个氧原子（O）组成；
  4. 分子的化学键 (前綴 “c” )
     • c1-2-3：atom 1 与 atom 2 之间有一个单键，atom 2 与 atom 3 之间也有一个单键；
     • 再举两个例子，C2H6 乙烷：InChI=1S/C2H6/c1-2/h1-2H3；
     • InChI=1S/C2H4/c1-2/h1-2H2 乙烯和 InChI=1S/C2H2/c1-2/h1-2H 乙炔，化学键层都是 c1-2，是通过后面每个 atom 上 H 的数量体现二键 h1-2H2 三键 h1-2H。
  5. 氢的排列 (前綴 “h” )
     • h3H,2H2,1H3：atom 3 (氧) 上有一个 H，atom 2 上有 2 个 H，atom 1 上有 3 个 H。
     • 再举两个例子，C3H6 环丙烷：InChI=1S/C3H6/c1-2-3-1/h1-3H2，这里的 1-3H2 表示 C1 C2 C3 都有 2 个 H；
     • C3H8 丙烷：InChI=1S/C3H8/c1-3-2/h3H2,1-2H3，对比上面 c1-2-3-1 和 h3H2,1-2H3。
• 其他层不会在所有 InChI 里出现，比如电荷层 “q” charge sublayer，质子层 “p” proton sublayer，也都是为了唯一标识一个分子而存在，见下图。

Morgan Fingerprints

以乙醇为例，

  H H
  | |
H—C—C—OH
  | |
  H H

大致计算步骤是：

1. 给 C1, C2, O, H1, H2, H3, H4, H5, H6 定义初始哈希值表示类型和邻域。
   • C1 邻域：C2、H1、H2、H3；
   • C2 邻域：C1、H4、H5、OH；
   • O 邻域：C2、H6。

2. 扩展邻域，把更多原子加入原先邻域。

   

3. 扩展 iterations 中的所有邻域都生成对应哈希值。

   

4. 对应填充 fingerprint，

   
   • 每个哈希值对应一个二进制位，即指纹中的每一位 1 对应存在此邻域，0 对应不存在此邻域；
   • fingerprint 是固定长度的二进制码，如 1024 / 2048 等。

实际应用时会用 Morgan 原子邻域拓扑结构指纹算法的其他众多变种：

1. ECFP (Extended Connectivity Fingerprints)
   • FCFP (Functional Connectivity Fingerprints)
2. MACCS Keys
3. PubChem Fingerprints
   …

1D/2D datasets

分别列举每个数据集的量级、主要构成、一条样本。

1. GDB
   • Generated Database
   • GDB-11 enumerates small organic molecules up to 11 atoms of C, N, O and F following simple chemical stability and synthetic feasibility rules.
   • GDB-13 enumerates small organic molecules up to 13 atoms of C, N, O, S and Cl following simple chemical stability and synthetic feasibility rules. 977 468 314 structures
   • GDB-17 enumerates 166.4 billion molecules of up to 17 atoms of C, N, O, S, and halogens
   • GDB-13 和 GDB-17 的前五條數據如下所示：

     S1C=CC=C1 O1C=CC=C1 C1CCCC1 N1C=CC=C1 S1C=CC=N1 BrC1=C2C3=C4C(CC3CCC2=O)C(=N)NC4=N1 BrC1=C2C3C4CCC(C4)C3C(=N)OC2=NC=C1 BrC1=C2C3C4CCC(O4)C3(OC2=NC=C1)C#C BrC1=C2C3C4CNC(C4)(C#N)C3OC2=NC=C1 BrC1=C2C3=C4C(OC(=O)C4=CC2=O)=CC3=NO1

2. QM9

   • 全稱 Quantum Machine，paper。
   • 是 133885 个来自 GDB-17 用简单化学稳定性和易合成规则生成的，最多 9 个 CONF 原子（不包括 H ）构成的有机物数据集。

   • 數據來源，sgdb9nsd_000001.xyz 第一条数据如下所示：

     5 gdb 1157.7118157.70997157.706990.13.21-0.38770.11710.504835.36410.044749-40.47893-40.476062-40.475117-40.4985976.469 C-0.0126981359 1.0858041578 0.0080009958-0.535689 H 0.002150416-0.0060313176 0.0019761204 0.133921 H 1.0117308433 1.4637511618 0.0002765748 0.133922 H-0.540815069 1.4475266138-0.8766437152 0.133923 H-0.5238136345 1.4379326443 0.9063972942 0.133923 1341.3071341.32841341.3651562.67311562.74533038.32053151.60343151.67883151.7078 CC InChI=1S/CH4/h1H4InChI=1S/CH4/h1H4

     
     

   • 还有另一种形式，包含能量和距离矩阵 / 邻接矩阵，在 chainer 框架里有这个数据集。

3. ZINC-20

   • 鋅-20，通过疏水度 logP 和分子质量 MW 划分 Tranches 提供数据下载。

     
     

   • 數據支持很多格式，包括 1D SMILES，2D 以 tab 间隔的 txt，3D 的 DOCK37.db2, AutoDock.pdbqt, Mol2.mol2, SDF.sdf。

   • 除了从官网手动下载外，用 curl 或 wget 以 mol2 格式为例 tranches 的下载方式：

     curl --remote-time --fail --create-dirs -o AA/AAML/AAAAML.xaa.mol2.gz http://files.docking.org/3D/AA/AAML/AAAAML.xaa.mol2.gz curl --remote-time --fail --create-dirs -o AA/AAMM/AAAAMM.xaa.mol2.gz http://files.docking.org/3D/AA/AAMM/AAAAMM.xaa.mol2.gz curl --remote-time --fail --create-dirs -o AA/AAMN/AAAAMN.xaa.mol2.gz http://files.docking.org/3D/AA/AAMN/AAAAMN.xaa.mol2.gz

   • 1D 和 2D 是 SMILES + ZINC ID + 一些性质参数，3D 会包含原子坐标、分子间作用力和电性等数据，以 AutoDock 格式为例：

     MODEL 1 REMARK Name = ZINC000004228267 REMARK x y z vdW Elec q Type REMARK _______ _______ _______ _____ _____ ______ ____ ROOT ATOM 1 N UNK A 0 2.396 -0.224 1.517 0.00 0.00 -0.740 N ATOM 2 H UNK A 0 2.098 0.687 1.372 0.00 0.00 +0.400 HD ENDROOT BRANCH 1 3 ATOM 3 C UNK A 0 3.745 -0.489 1.727 0.00 0.00 +0.230 A

4. ChEMBL
   • ChEMBL or ChEMBLdb是一个手动整理的化学数据库，包含具有药物诱导性质的生物活性分子。
   • chEMBL 中的 EMBL 是 European Molecular Biology Laboratory，跟 ZINC 一样有很多种数据，如 2.5M compounds, 92.1k documents, 37.2k activities。
   • 可用属性有38个条目，实际在可下载的官网化合物csv里有36条 ↓ ，表格见附录。

     "ChEMBL ID";"Name";"Synonyms";"Type";"Max Phase";"Molecular Weight";"Targets";"Bioactivities";"AlogP";"Polar Surface Area";"HBA";"HBD";"#RO5 Violations";"#Rotatable Bonds";"Passes Ro3";"QED Weighted";"CX Acidic pKa";"CX Basic pKa";"CX LogP";"CX LogD";"Aromatic Rings";"Structure Type";"Inorganic Flag";"Heavy Atoms";"HBA (Lipinski)";"HBD (Lipinski)";"#RO5 Violations (Lipinski)";"Molecular Weight (Monoisotopic)";"Np Likeness Score";"Molecular Species";"Molecular Formula";"Smiles";"Inchi Key";"Inchi";"Withdrawn Flag";"Orphan" CHEMBL1807862;"";"";"Small molecule";"";"279.72";"1";"1";"3.84";"22.00";"3";"0";"0";"1";"N";"0.66";"None";"None";"3.99";"3.99";"3";"MOL";"-1";"18";"2";"0";"0";"278.9921";"-1.36";"None";"C13H7ClFNOS";"O=c1c2cccc(F)c2sn1-c1ccc(Cl)cc1";"HENRYDPMUODAEA-UHFFFAOYSA-N";"InChI=1S/C13H7ClFNOS/c14-8-4-6-9(7-5-8)16-13(17)10-2-1-3-11(15)12(10)18-16/h1-7H";"False";"-1"

   • 在 assays 里有 1.7 M 条分子的很短的 description 可以用于 captioning，比如 959390 这个分子的描述是，“Cytotoxicity against human CCRF-CEM cells by SRB assay” 根据 SRB 分析此物质对人类 CCRF-CEM 有细胞毒性。
5. CEPDB
   • The Clean Energy Project Database, 2.3 million molecular motifs, derived from 150 million density functional theory calculations.
   • 是 CEP Harvard Clean Energy Project 的一部分，2012 和 2013 版共15.14 GB（压缩后，解压的 cepdb_2012-10-24.sql 有 61 GB，建表），geometry 三维坐标数据共 18.54 GB。
   • 关注能量相关属性，除了 HOMO-LUMO gap 之外，还有 Photovoltaic performance parameters 光伏表现参数 PCE: the power conversion efficiency Voc: the open-circuit voltage Jsc: the short-circuit current density。

     -- -- Table structure for table `data_calcqcset1` -- DROP TABLE IF EXISTS `data_calcqcset1`; SET @saved_cs_client = @@character_set_client; SET character_set_client = utf8; CREATE TABLE `data_calcqcset1` ( `id` int(11) NOT NULL AUTO_INCREMENT, `mol_geom_id` int(11) NOT NULL, `calc_id_str` varchar(250) COLLATE utf8_bin NOT NULL, `calc_tbz_str` varchar(250) COLLATE utf8_bin NOT NULL, `calc_archive_subdir_path` varchar(250) COLLATE utf8_bin NOT NULL, `modelchem_str` varchar(100) COLLATE utf8_bin NOT NULL, `e_total` double DEFAULT NULL, `e_homo_alpha` double DEFAULT NULL, `e_lumo_alpha` double DEFAULT NULL, `e_gap_alpha` double DEFAULT NULL, `e_homo_beta` double DEFAULT NULL, `e_lumo_beta` double DEFAULT NULL, `e_gap_beta` double DEFAULT NULL, `e_gap_min` double DEFAULT NULL, `dipmom_total` double DEFAULT NULL, `s2_val` double DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `calc_id_str` (`calc_id_str`), KEY `data_calcqcset1_2174315b` (`mol_geom_id`), CONSTRAINT `mol_geom_id_refs_id_9f7beeea` FOREIGN KEY (`mol_geom_id`) REFERENCES `data_molgeom` (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=113757770 DEFAULT CHARSET=utf8 COLLATE=utf8_bin; SET character_set_client = @saved_cs_client; -- -- Dumping data for table `data_calcqcset1` -- -- ORDER BY: `id` LOCK TABLES `data_calcqcset1` WRITE; /*!40000 ALTER TABLE `data_calcqcset1` DISABLE KEYS */; INSERT INTO `data_calcqcset1` VALUES (1,16855,'A.16.C13H8N2S.49.noopt.bp86.sto6g.n.sp','','','MM//BP86/STO-6G',-1004.9549135703,-0.101,0.019,0.12,-0.101,0.019,0.12,0.12,3.9718,NULL),(2,16855,'A.16.C 13H8N2S.49.noopt.bp86.svp.n.sp','','','MM//BP86/SVP',-1007.3925734934,-0.189,-0.073,0.116,-0.189,-0.073,0.116,0.116,2.9927,NULL),(3,15011810,'A.16.C13H8N2S.49.bp86.svp.n.bp86.svp.n.sp','','','BP86/S VP//BP86/SVP',-1007.4106491085,-0.189,-0.076,0.113,-0.189,-0.076,0.113,0.113,3.3101,NULL), -- vim 读大文件真好用，1000 行的 id 在 500 万左右，不知总量多少。

6. MOSES
   • Molecular Sets 来自 ZINC Clean Leads，分子量范围为 250 到 350 Da，旋转键数量不超过7个，XlogP小于或等于3.5。
   • 移除了含有带电原子或除了碳（C）、氮（N）、硫（S）、氧（O）、氟（F）、氯（Cl）、溴（Br）、氢（H）之外的原子，或环长度超过8个原子的分子。分子还通过了药物化学筛选（MCFs）和PAINS筛选。
   • 该数据集包含1,936,962个分子结构。为了进行实验，我们将数据集分为训练集、测试集和骨架测试集，分别包含约160万个、17.6万个和17.6万个分子。
   • 所谓 Bemis-Murcko 骨架是去掉官能团等，去除分支，保留环包括芳香环饱和环等，保留连接键作为化学骨架的主链，提取出基础框架；
   • 所谓先导分子 (Lead Compound) 是药物发现中初步筛选后，对目标生物靶标（如酶、受体或其他分子）具有活性并且潜力较高的化学物质，比如阿司匹林 (Aspirin) 的先导分子是天然化合物水杨酸（Salicylic acid）。

     SMILES,SPLIT CCCS(=O)c1ccc2[nH]c(=NC(=O)OC)[nH]c2c1,train CC(C)(C)C(=O)C(Oc1ccc(Cl)cc1)n1ccnc1,train CC1C2CCC(C2)C1CN(CCO)C(=O)c1ccc(Cl)cc1,test Cc1c(Cl)cccc1Nc1ncccc1C(=O)OCC(O)CO,train Cn1cnc2c1c(=O)n(CC(O)CO)c(=O)n2C,train CC1Oc2ccc(Cl)cc2N(CC(O)CO)C1=O,train O=C(C1CCCCC1)N1CC(=O)N2CCCc3ccccc3C2C1,test_scaffolds

DFT

开始提到过，原子结合成分子实际上是电子云重叠，原子轨道相互结合的结果。

简单说 DFT (密度泛函理论, Density Functional Theory) 生成分子的原理是通过求解电子密度来得到分子的稳定状态，并进一步预测其化学和物理性质。

• DFT 的目标是找到分子总能量最小化的稳定状态，即找到基态的电子密度，
• “泛函”是一个把电子密度映射到能量上的函数，根据电子密度告诉我们分子总能量。

大概跟 nn 的优化类似，比如——

• 随机初始化一个 input (电子云密度)，
• weights (泛函) 是确定的 Kohn-Sham 方程，这个方程不需要优化参数，只需要迭代，
• 目标是通过改变 input 的原子坐标，改变 input 的电子云密度，以最小化 loss (分子能量)。

泛函就是函数的函数，普通的函数输入是 scalar 输出是 scalar，泛函输入是函数输出是 scalar。比如有一个温度分布 $f(x)$，泛函 $F(f)$ 可能是温度分布的总和、平均值、能量等，或比如通过积分来压缩函数信息 $F(f) = \iint_{D} f(x, y) \, dx \, dy$

3D datasets

1. GEOM
   • Geometric Ensemble Of Molecules，数据在 Harvard Dataverse 里。
   • 37 M 分子构象，450 K 个分子，用能量和统计量标注，其中 317 K 是理化生实验性数据，133 K 来自 QM9。
   • SMILES和标注之外有一个 pickle 序列化数据，用 pickle 读取后是跟上面 ZINC 一样的原子坐标数据。
   • 上面是 summary.json，
   • 下面是同一个分子的 pickle，包括 39 个构象 conformers。

     "COCC1CCN(C(C)C(=O)NC(Cc2cc(F)cc(F)c2)C(O)C[NH2+]Cc2cccc(OC)c2)C1=O": { "pickle_path": "rd_mols/AAAGFCUDAXPDAA-WPSXGZRWNA-O.pickle", "datasets": [ "bace" ], "bace": { "class": 0.0 }, "charge": 1, "temperature": 298.15, "totalconfs": 34, "uniqueconfs": 34, "ensembleGsolv": 0.0, "ensembleenergy": 0.8293786453390717, "ensembleGmRRHO": 0.5259982, "ensemblefreeenergy": 0.647714789834022, "poplowestpct": 14.64, "lowestenergy": -1790.2116692, "lowestfreeenergy": -1789.6853815, "lowestGsolv": 0.0 }, {'conformers': [ {'rd_mol': <rdkit.Chem.rdchem.Mol object at 0x102a21b30>, 'geom_id': 191755154, 'ExTB': -114.5215816, 'Gtot': -1789.685381829991, 'homo': -5.81134502543315, 'lumo': -1.49017707949315, 'part': 2, 'Gsolv': 0.0, 'GmRRHO': 0.5262877, 'confnum': 39, 'imgfreq': 0, 'deltaExTB': 0.14966089649667502, 'deltaGtot': 0.0, 'gcpenergy': 0.050944951, 'scfenergy': -1790.2238525, 'multipoles': [{'X': 13.320834477108601, 'Y': -5.436236001799401, 'Z': 12.805190419428502}], 'totalenergy': -1790.211669529991, 'atomiccharges': {'chelpg': [-0.384107, -0.128012, -0.119892, 0.012918, -0.348897, 0.003971, -0.099417, 0.22832, -0.620608, 0.464031, -0.579857, -0.666551, 0.70218, -0.565307, 0.53173, -0.728704, 0.576836, -0.237119, -0.586949, 0.514835, -0.22303, -0.617046, -0.074913, -0.669473, -0.294498, 0.163227, -0.393489, 0.336125, -0.430043, -0.002394, -0.447307, 0.493919, -0.34994, -0.154772, -0.445046, 0.392509, -0.615911, 0.159517, 0.160476, 0.140683, 0.122743, 0.090592, 0.102362, 0.133326, 0.147082, 0.09422, 0.042913, 0.092729, 0.196191, 0.19269, 0.163939, 0.310529, 0.010566, 0.157477, 0.168965, 0.326704, 0.271008, 0.257133, 0.159122, 0.483004, 0.180651, 0.190366, 0.273248, 0.224669, 0.177406, 0.191023, 0.198102, 0.156906, 0.210417, 0.148076, 0.113059, 0.098193, 0.216593], 'lowdin': [-0.079183, -0.816131, 0.038287, -0.116671, -0.224488, 8.8e-05, -0.797974, 0.092744, -0.351816, 0.376512, -0.54649, -0.585718, 0.070386, -0.217474, -0.058601, -0.163355, 0.217519, -0.288981, -0.154311, 0.222021, -0.292465, -0.16142, 0.1198, -0.589261, 0.000245, -0.584898, 0.008839, -0.083127, -0.178494, -0.153136, -0.139364, 0.175758, -0.687728, -0.054253, -0.150924, 0.354333, -0.509984, 0.168522, 0.178438, 0.16578, 0.181807, 0.180614, 0.195278, 0.172587, 0.177462, 0.186995, 0.183336, 0.23472, 0.176017, 0.175266, 0.170432, 0.304486, 0.220894, 0.188031, 0.195249, 0.199422, 0.206502, 0.198593, 0.199265, 0.290755, 0.214907, 0.211322, 0.310346, 0.315253, 0.210142, 0.209117, 0.184257, 0.181314, 0.191326, 0.186433, 0.174786, 0.173853, 0.196207], 'mulliken': [-0.33693, -0.256748, -0.294745, 0.234326, -0.463492, -0.224222, 0.12083, -0.216166, -0.549971, 0.283058, -0.52329, 0.065622, -0.378607, -0.446257, 0.217793, -0.3163, 0.346635, -0.236717, -0.380578, 0.37968, -0.23705, -0.359167, -0.00936, -0.466132, -0.31224, -0.241289, -0.253706, 0.05608, -0.211705, -0.163229, -0.306699, 0.310531, -0.209426, -0.339675, -0.286686, 0.051327, -0.478489, 0.156809, 0.167621, 0.16549, 0.164922, 0.168774, 0.190009, 0.183647, 0.179029, 0.167752, 0.170588, 0.231494, 0.179978, 0.18388, 0.181521, 0.294058, 0.246738, 0.200581, 0.20499, 0.192331, 0.205063, 0.190918, 0.193903, 0.348514, 0.217127, 0.207198, 0.379381, 0.408151, 0.203561, 0.214364, 0.17676, 0.17631, 0.183222, 0.173553, 0.171895, 0.171776, 0.181088]}, 'boltzmannweight': 0.1463940268992422, 'dispersionenergy': -0.038761983, 'electricdipolemomentnorm': 19.260586561982183, 'deltaGxTB': None}, {'rd_mol':,'geom_id':,'ExTB':,'Gtot':,'homo':,'lumo':,'part':,'Gsolv':,'GmRRHO':,'confnum':,'imgfreq':,'deltaExTB':,'deltaGtot':,'gcpenergy':,'scfenergy':,'multipoles'': [{'X':,'Y':,'Z':}],'totalenergy':,'atomiccharges': {'chelpg': [], 'lowdin': [], 'mulliken': []}, 'boltzmannweight':,'dispersionenergy':,'electricdipolemomentnorm':,'deltaGxTB':}, ··· ], 'smiles': 'COCC1CCN(C(C)C(=O)NC(Cc2cc(F)cc(F)c2)C(O)C[NH2+]Cc2cccc(OC)c2)C1=O', 'datasets': ['bace'], 'bace': {'class': 0.0}, 'charge': 1, 'temperature': 298.15, 'totalconfs': 38, 'uniqueconfs': 38, 'ensembleGsolv': 0.0, 'ensembleenergy': 0.8294144900204856, 'ensembleGmRRHO': 0.5259981729924965, 'ensemblefreeenergy': 0.6477336869578462, 'poplowestpct': 14.63940268992422, 'lowestenergy': -1790.211669529991, 'lowestfreeenergy': -1789.685381829991, 'lowestGsolv': 0.0}

2. ISO17
   • isomers 同分异构体-17 同样来自 QM9 数据集，数据在 Quantum Machine 官网，
   • 是固定原子组合 C7O2H10 不同排列的有效化学结构，有 129 个分子，每个包含 5000 种构象几何 geometries 、能量 energies 、作用力 forces 数据。
   • “分子动力学轨迹的时间分辨率为1飞秒。” 数据是 .db 格式需要 SQL 操作，可以用 from ase.db import connect 读写，with connect(path_to_db) as conn:，数据包含 total energy 和 atomic forces 列。

     Atoms(symbols='C3OC4OH10', pbc=False, cell=[1.0, 1.0, 1.0]) -11506.376711958 [[0.0, 0.0, 0.0], ...]

3. Molecule3D

   • 4M 个从 density functional theory (DFT) 得到的分子，还提供了数据预处理、分割、训练和评价代码。数据在 Google Drive，paperswithcode 有这个 benchmark，先 3D 结构预测后性质预测。

     

   • 下面 sdf 格式样本里第一行的 PUBCHEM 000000004 表示这个数据来自 PubChem，ID 第 4，B3LYP 是一种 DFT 方法，6-31G(d) 是用于计算分子轨道的函数，GAMESS 是几何优化软件，最后表示用 OpenBabel 转化数据格式；

   • 第二行的 14 13 表示这个分子有 14 个原子，13 条键，V2000 是个可以用 OpenBabel 处理的数据格式；
   • 之后首先是 14 个原子在当前 Å 尺度 resolution 下的坐标；
   • 之后是 13 个键的连接关系， 1 2 1 表示原子 1 和 原子 2 中有个 1 键，如果是双键就是 1 2 2；
   • 最后 M END 表示这个分子结束，和 dollar 结束符。
   • sdf 格式数据之外有 properties.csv，列对应关系见下文例子或附录。

     PUBCHEM 000000004 B3LYP 6-31G(d) gamess geometry optimization OpenBabel05211418503D 14 13 0 0 1 0 0 0 0 0999 V2000 0.8709 -0.0593 -0.0932 C 0 0 0 0 0 0 0 0 0 0 0 0 2.3923 -0.0939 0.0366 C 0 0 1 0 0 0 0 0 0 0 0 0 2.8675 -0.1496 1.4905 C 0 0 0 0 0 0 0 0 0 0 0 0 4.3253 -0.0567 1.5320 N 0 0 0 0 0 0 0 0 0 0 0 0 2.9524 -1.1865 -0.7083 O 0 0 0 0 0 0 0 0 0 0 0 0 0.4511 0.8328 0.3857 H 0 0 0 0 0 0 0 0 0 0 0 0 0.4145 -0.9383 0.3830 H 0 0 0 0 0 0 0 0 0 0 0 0 0.5813 -0.0547 -1.1486 H 0 0 0 0 0 0 0 0 0 0 0 0 2.8285 0.7976 -0.4266 H 0 0 0 0 0 0 0 0 0 0 0 0 2.4511 -1.0709 1.9489 H 0 0 0 0 0 0 0 0 0 0 0 0 2.4412 0.6964 2.0457 H 0 0 0 0 0 0 0 0 0 0 0 0 4.7035 -0.7783 0.9198 H 0 0 0 0 0 0 0 0 0 0 0 0 4.6675 -0.2503 2.4708 H 0 0 0 0 0 0 0 0 0 0 0 0 2.5111 -1.9958 -0.4005 H 0 0 0 0 0 0 0 0 0 0 0 0 1 2 1 0 0 0 0 1 7 1 0 0 0 0 1 6 1 0 0 0 0 2 9 1 6 0 0 0 2 3 1 0 0 0 0 3 4 1 0 0 0 0 3 10 1 0 0 0 0 3 11 1 0 0 0 0 4 13 1 0 0 0 0 5 14 1 0 0 0 0 5 2 1 0 0 0 0 8 1 1 0 0 0 0 12 4 1 0 0 0 0 M END $$$$ cid,dipole x,dipole y,dipole z,homo,lumo,homolumogap,scf energy 000000000,4.404345,3.934717,-1.135217,-6.17698440635,-2.097997787355,4.078986618995,-20690.251813900697 000000004,-1.452589,-1.389503,1.434038,-6.1878689603699994,1.8476530448950002,8.035522005265,-6794.53585995115

4. CrossDocked2020
   • 数据也在 GitHub 可以获取，90 G 左右。
   • label = 1 对应 RMSD（根均方偏差, 见下文 metrics）和晶体构象的偏差 ≤ 2， label = 0 是 RMSD > 2；
   • 接下来的性质参数是 pK 值，若配体亲和力数据未知，则pK 值为 0；
   • receptor 和 ligand 就是蛋白质受体和配体分子，对应一条数据；
   • RMSD to crystal 列在 DenseNet 里要移除掉。

     <label> <pK> <RMSD to crystal> <Receptor> <Ligand> # <Autodock Vina score> 1 0.0000 1.0247 1A02_HUMAN_25_199_pep_0/2gj6_D_rec_0.gninatypes 1A02_HUMAN_25_199_pep_0/2gj6_D_rec_2gj6_3ib_lig_tt_min_0.gninatypes #-3.5844

5. PDB (scPDB, Binding MOAD)
   • Protein Data Bank，官网说是生物学和医学领域的第一个
   • PDB 有超过1TB的蛋白质、DNA和RNA的结构数据，且每年增长接近10%。
   • 类似 NCBI 的 GenBank，这些数据集包罗万象，任何格式任何形式的几乎任何蛋白质和基因数据都能找到。
6. DUD-E
   • DUD (A Directory of Useful Decoys)，decoys 是诱饵，跟真正具有好性质的目标化合物很像，但并不具有某些特性，DUD 2,950 种活性化合物，针对 40 个靶标，每个活性化合物有 36 个“诱饵”，它们的 MW 和 logP 相似，分子结构不同。
   • DUD-E 是 DUD 的 Enhanced 和重建版本
     • 有 22,886 个活性化合物，和它们亲和的 102 个靶标，平均每个目标靶标有 224 个配体 (ligands)；
     • 活性化合物每个有 50 个诱饵 decoys，有相似的物理化学属性但是不同的 2-D topology 结构。
   • DUD-E 把活性化合物数据按 102 个靶标分开，比如 AA2AR 这个靶标 (target)，
     • 首先对应一个 PDB 条目 和对应物质量等；
     • 然后对应几个活性化合物的数据文件，ism 里包括 SMILES 和 ChEMBL id 如下所示，以及 mol2 / sdf 格式的 3D 坐标数据；
     • 最后有一个 receptor.pdb 文件描述靶标 (target) 分子原子构成。

AA2AR actives_final.ism: (对应有一个decoys_final.ism存诱饵分子)
C#CCOc3nc(c1ccccc1)nc4sc2CCCc2c34 630004 CHEMBL1087078
OC[C@H]3OC(n1cnc2c(NCCS(O)(=O)=O)ncnc12)[C@H](O)[C@@H]3O 607385 CHEMBL610435
CCNC(=O)[C@H]4OC(n2cnc3c(N)nc(C#Cc1ccc(CCC(O)=O)cc1)nc23)[C@H](O)[C@@H]4O 605505 CHEMBL605065
···

AA2AR receptor.pdb:
ATOM      1  N   ILE     3     -30.582 -20.763  57.829
ATOM      2  CA  ILE     3     -29.314 -20.499  57.159
ATOM      3  C   ILE     3     -28.389 -19.651  58.027
···

Metrics

1. 这些既可以作为模型的评价指标，也可以作为 reward function 为模型引入 reinforcement learning 思想，作为 guide gradient。
   • 比如一种常用的 reward function： $$J(S) = \log P(S) - SA(S) - \text{RingPenalty}(S)$$
   • 加上penalty是： $$R(S) = \begin{cases} J(S) \cdot \frac{1}{1 + |J(S)|} & \text{for valid SMILES} \\-1.0 & \text{for invalid SMILES} \end{cases}$$
2. 分子的定量性质、特征，还会被称为分子描述符 (Descriptors)，比如 RDKit 的 SAScore 函数名就是 rdMolDescriptors。

Stability

• Atom Stability（原子稳定性）
  定义：原子稳定性原子是否跟其他原子形成稳定的化学键，避免连接到不稳定的键上。

• Molecule Stability（分子稳定性）
  定义：分子稳定性衡量整个分子在环境中的化学稳定性，评估分子是否容易分解、氧化或发生其他不希望的化学反应，从而确保分子在目标环境中能够长时间存在，尤其是药物分子需要在体内保持活性。

有人用 spearman’s ρ 衡量 stability。
$\rho = 1 - \frac{6 \sum_{i=1}^{n} d_i^2}{n(n^2 - 1)}$
$ d_i $ 是每对预测标签和真实标签之间的排名差异，$n$ 是样本数量，

• $\rho$：Spearman’s ρ，表示排名相关系数，取值范围从 -1 到 1。
  • $\rho = 1$ 表示完全正相关（排名完全一致）。
  • $\rho = -1$ 表示完全负相关（排名完全相反）。
  • $\rho = 0$ 表示无相关（排名无序）。

reference 2 的 5.4 3D Molecule Evaluation 这句话是错的：
当一个原子与其他原子连接的键数与该原子的价电子数相匹配时，该原子是稳定的；当分子中所有原子都稳定时，整个分子也是稳定的。
可以参照下面 Validity 计算 Stability，我认为这两个指标可以一起算，就算原子化学键跟原子价匹配也未必稳定。

Validity

有效性:

• 基本的化学结构规则，寻找不合理的键；
  • C=C=C (C₃H₄)，虽然不违反化合价规则，但只能是不稳定的短暂中间体；
  • C-C≡N 也是。
• 每个原子的键数是否符合其化学价 / 化合价 valence。

$\text{Validity} = \frac{\text{ # valid molecules}}{\text{ # generated molecules}}$

可以用 rdkit.Chem.Descriptors / rdMolDescriptors 计算。

Uniqueness

唯一性：希望生成的分子少重复。

$\text{Uniqueness} = \frac{\text{ # unique molecules}}{\text{ # generated molecules}}$

• $R_{\text{uniqueness}}$ 表示分子生成集合 $G$ 中的唯一性评分。
• $| \text{set}(G) |$ 是集合 $G$ 中唯一分子的数量（去除重复分子）。
• $| G |$ 是生成的分子总数。

Novelty

新颖性：希望生成训练集里不存在的分子。

$\text{Novelty} = \frac{\text{ # novel molecules}}{\text{ # generated molecules}}$

• $R_{\text{novelty}}$ 是新颖性评分。
• $x$ 表示生成的分子。
• 如果生成的分子 $x$ 不在训练集 $\text{Training Set}$ 中，则赋值为 1，表示生成了一个全新的分子。
• 如果 $x$ 在训练集中，则赋值为 0.3，表示该分子并不新颖，可能是已知的分子。

或者用 $r_{\text{novel}} = 1 - \frac{|G \cap T|}{|T|}$ ，生成的新分子也不在 T 测试集里的比例，衡量 novelty。

QED

Quantitative Estimation of Drug-likeness, 药物相似性定量估计，表示其作为药物候选分子的潜力。

Bickerton et al., 2012 的计算步骤如下：

1. 数据集
   • SMILES 或 InChI 格式药物分子化学结构；
   • 生物活性，通常用 IC50 或 EC50；
2. 用 RDKit 或 Open Babel 计算分子描述符
   • 芳香环数（Aromatic Rings）：表示分子中芳香环的数量。芳香环的数量可能与分子的稳定性和相互作用特性相关。
   • 重原子数（Heavy Atoms）：通常指除了氢以外的元素，反映了分子的复杂性。
   • 环系数（Ring Count）：分子中环结构的数量。环结构增加了分子的稳定性和生物活性。
   • PSA
   • Lipinski’s Rule of Five
3. 模型训练交叉验证
   • 用传统模型，比如 Linear Regression / SVM, SVR / Random Forest
   • loss, 模型评估用 MSE，决定系数（R²）

R² 决定系数 (R-squared, R2) ，是衡量回归模型拟合效果的一个指标，0～1 越大越好。

AutoDock Vina

定义：AutoDock Vina是分子对接工具，用于评估分子与靶标蛋白质之间的结合亲和力，优化分子构象与受体结合能，以帮助选择结合能力最强的分子。
公式：通过评估结合模式的能量（静电、范德瓦尔斯力、疏水效应、分子旋转自由度等）预测分子之间的结合亲和力：

• $E_{\text{affinity}}$ 是分子与靶标蛋白质结合的总亲和能量，越低表示分子之间亲和力越强。
• $E_{\text{vdW}}$ 是范德瓦尔斯力，反映分子之间的非键合相互作用。
• $E_{\text{elec}}$ 是静电力，表示带电分子之间的相互作用。
• $E_{\text{hydrophobic}}$ 是疏水效应，考虑分子中的疏水基团与水分子之间的相互作用。
• $E_{\text{torsion}}$ 是分子旋转自由度的能量，反映分子旋转自由度对结合的影响。

High Affinity Percentage

定义：高亲和力百分比衡量生成的分子中具有较高结合亲和力（低结合能）分子所占的比例，用于评估生成分子是否具有良好的药物结合能力。
公式：

• $\text{Number of high affinity molecules}$ 是具有高亲和力（低结合能）的分子数量。比如用 IC50 的阈值可以设为 < 100 nM 为高亲和力，用 AutoDock Vina 的阈值可以设为 < -7 kcal/mol 结合能是高亲和力。
• $\text{Total number of generated molecules}$ 是生成的分子总数。

Synthesizability, SAScore

定义：Synthetic Accessibility Score 评估分子的合成难易度，计算多个结构特征（如键类型、环系统等）来量化分子在实际合成过程中可能遇到的难度。

在 RDKit 中，Synthetic Accessibility score（简称 SA score）是通过特定算法评估分子合成难度的。该评分系统由 Ertl et al. (2009) 提出，

原始文章：

• $ nRingBridgeAtoms $: 环桥原子数量。
• $ nSpiroAtoms $: 螺环原子数量。
• $ nStereoCenters $: 立体中心的数量。
• $ nMacrocycles $: 宏环数量。
• $ natoms $: 分子中原子的总数。

SAScore 结果通常在 -4（最差）到 2.5（最佳）之间，被乘 -1 (越高越难以合成) 后缩放至1到10之间，以提供一个更易于解释的值。

现在 RDKit 是通过 nn 实现 fragmentScore：

其中：

• $f_1, f_2, \dots, f_n$ 是描述分子结构的特征（如分子量、旋转自由度、拓扑指数等），这些特征与分子活性有一定相关性。
• $w_1, w_2, \dots, w_n$ 是对应特征的权重，通常通过回归分析或者机器学习方法来确定。

除了会考虑环结构和官能团、拓扑结构这些 penalty 之外，实现时还可能参考合成路径数据库 (Synthetic Route Database) 检查是否有已知的合成方法。

from rdkit import Chem
from rdkit.Chem import rdMolDescriptors

# 创建一个分子对象
smiles = "CCO"  # 例如乙醇
mol = Chem.MolFromSmiles(smiles)

# 计算 SA score
sa_score = rdMolDescriptors.CalcSyntheticAccessibility(mol)

print(f"Synthetic Accessibility Score: {sa_score}")

Diversity

基本思路是用数据的两两相似度衡量多样性，相似度均值越低多样性越高，文章中有两种大差不差的算法，但 reference 1 的 3.2.1 Diversity & novelty Eqn. 26 公式都写错了，所以取 reference 2 equation 16 的写法。

如果多样性过高，可以通过在 reward 里增加 penalty 限制。

Coverage

其中，$S_g$ 和 $S_r$ 分别表示生成的和参考的构象，$delta$ 是给定的RMSD阈值。

Matching

定义：匹配度度量生成的分子与目标分子或参考数据库中分子之间的相似性，通过计算分子指纹的相似度来评估。
公式：

• $r_{\text{SNN}}$ 是匹配度评分。
• $G$ 是生成的分子集，$D$ 是参考数据库或目标分子集。
• $D(x_G, x_D)$ 是分子 $x_G$ 与 $x_D$ 之间的相似度。

其中，$S_g$ 和 $S_r$ 分别表示生成的和参考的构象。

1D2D ↓

KL散度

Kullback–Leibler Divergence (KLD)，

KL散度是非对称的，

举个简单例子，$P=[0.4,0.6], Q=[0.5,0.5]$：

MMD

Maximum Mean Discrepancy (MMD, 最大均值差异),
假设有两个样本集 $X = \{x_1, x_2, \dots, x_n\}$ 和 $Y = \{y_1, y_2, \dots, y_m\}$，分别来自两个分布 $P$ 和 $Q$。

MMD的计算公式为：

其中，$k(x, y)$ 是核函数，通常选择高斯核（RBF核）来度量数据点之间的相似度。核函数的选择影响了MMD的表现和计算效率。
MMD依赖于一个核函数 $k(x, y)$ 来计算样本点间的相似性。常用的核函数包括：

• 高斯核： $$k(x, y) = \exp\left(-\frac{\|x - y\|^2}{2\sigma^2}\right)$$
• 线性核： $$k(x, y) = x^T y$$ 用样本相似度衡量两个分布相似度的方式跟 KL 散度有些类似，但观察公式可以发现 MMD 不需要显式计算分布。
  由于 KL散度 计算的例子是离散分布，所以这里举一个连续正态分布的例子说明这一点：
• 分布P：一个标准正态分布 $ P \sim \mathcal{N}(0, 1) $。
• 分布Q：另一个正态分布 $ Q \sim \mathcal{N}(1, 1) $。

两个分布的差异是均值不同，一个均值为0，一个均值为1。

对于一维正态分布 $ P \sim \mathcal{N}(0, 1) $ 和 $ Q \sim \mathcal{N}(1, 1) $，我们有：

• $ p(x) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{x^2}{2}\right) $
• $ q(x) = \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{(x-1)^2}{2}\right) $

KL 散度公式：

需要确切知道 $ p(x) $ 和 $ q(x) $ 的 PDF 概率密度函数。而用 MMD 只需要从 $ P $ 和 $ Q $ 中各自抽取样本集合 $ X = \{x_1, x_2, …, x_n\} $ 和 $ Y = \{y_1, y_2, …, y_m\} $ 代入 MMD 公式：

代入核函数：

并不需要显式得到分布 PDF。

FCD

Fréchet 距离本身是计算两个路径 / 曲线的相似度，比如两个人分别在两个不同的城市出发，各自沿着某条路线行进，目标是同时到达各自的目的地，Fréchet 距离就是两个路径的“最小同时距离”，也就是“最小的最大距离”，可以想像路径越相似 Fréchet 距离值越小。

而 Fréchet ChemNet Distance (FCD) 可以衡量两个分布的距离，通常就是两个分子集合，Fréchet 距离例子里的“路径”对应分子的特征，FCD 的分子特征是 ChemNet 倒数第二层的激活值，进而计算均值 $\mu$ 和协方差 $\Sigma$ 来衡量距离。

• $\mu_1, \mu_2$ 是两个分布的均值向量。
• $\Sigma_1, \Sigma_2$ 是这两个分布的协方差矩阵。
• Tr表示矩阵的迹（即矩阵对角线元素的和）。

其中协方差公式：

3D ↓

RMSD

Root Mean Square Deviation，根均方偏差是一种衡量两个分子结构（通常是晶体构象和预测构象）之间差异的常用指标。它通过计算两组原子坐标之间的差异来量化结构的相似性。
RMSD 的值越小，表示两个结构越相似。

1. 对齐两组结构：首先，需要对齐（superimpose）两个结构，以消除旋转和平移的影响，通常使用最小二乘法（least squares）来对齐。
2. 计算坐标差异：对于每对对应的原子，计算它们在三维空间中的位置差异（通常使用欧几里得距离）。
3. 求平方和：将每对原子之间的差异平方后加和。
4. 求平均值：取所有差异平方和的平均值。
5. 开平方：最后，取平均值的平方根，得到 RMSD。

公式如下：

其中：

• $N$ 是比较的原子对数。
• $r_i$ 是真实晶体结构中第 $i$ 个原子的坐标。
• $p_i$ 是预测结构中第 $i$ 个原子的坐标。

其实就是 MSE 的形式。

MAE

同样地，有 L2 损失就有 L1 损失，MAE (Mean Absolute Error, 平均绝对误差)。

Models

输入输出都可以是所有类型的分子表示，模型目标是按指标生成分子。

• GAN
• VAE
• RL
• transformers
• GNN
• Diffusion
• Flow-Based

transformer + rl = Molecule generation using transformers and policy gradient reinforcement learning

Molecule Captioning

输入可以是所有类型的分子表示，输出是分子对应的自然语言描述。

• contrastive learning
• cogview, dalle, ofa
• lstm

References

三篇綜述。

1. Deep learning for molecular design - a review of the state of the art, 2019, Daniel C. Elton, et al.
2. MolGenSurvey: A Systematic Survey in Machine Learning Models for Molecule Design, 2022, Yuanqi Du, et al.
3. A Survey of Generative AI for de novo Drug Design: New Frontiers in Molecule and Protein Generation, 2024, Xiangru Tang, et al.

Appendix

Appendix-Representations-Comparison

Appendix-QM9

$n_a$=number of atoms.

Å (埃, Angstrom), $10^{-10}$ 米，0.1 纳米。会用来描述分子坐标的尺度，或者叫分辨率如 Resolution: 2.60 Å。

Properties are stored in the order given by the first column.

Appendix-ChEMBL

properties available

Appendix-Molecule3D

去年大概也是這個時候開始玩西洋棋，一直到今年春天臀傷和腳傷之前都在下，回家時老被奶奶吐槽一會兒沒說話就又開一把。一晃半年過去，又開始當臭棋簍子，沒時間廢話了，還是那倆號，還是那倆開局。

西西里和后翼棄兵之於我，曾像dota2和lol裡的人馬，是我的底裤也是轮椅。

開放 vs. 封閉

Sicilian Defense

Mandy老師：https://www.youtube.com/watch?v=E6BdM_Q9XvM
龍式：https://www.youtube.com/watch?v=ejh_NGiMkcU
Najdorf納依道夫變著：https://www.youtube.com/watch?v=kvDwHYHA-LQ

Queen’s Gambit

Rey老師：https://www.youtube.com/watch?v=VS0Um7EEmoQ , https://www.youtube.com/watch?v=MG_OvTqNQGA .
Mandy老师：https://www.youtube.com/watch?v=yGAW9BGmqaI

中國象棋

中炮局

中炮局也稱為當頭砲，象棋術語。是指開局的第一步是炮二平五或是炮八平五的開局。
中炮局是中國象棋最多最雜的佈局。

四大開局

都是一般用於後手應對當頭炮局的。

順炮

1. 炮二平五 炮８平５

就是倆中炮了。

屏風馬

1. 炮二平五 馬８進７
2. 馬二進三

   反宮馬

3. 炮二平五 馬２進３
4. 馬二進三 炮８平６
5. 車一平二 馬８進７

   單提馬

6. 炮二平五 馬２進３
7. 馬二進三 馬８進９

體會

就從學習開局這點來說，中國象棋比西洋棋資料匱乏程度，或者說獲取難度大太多了。連張正兒八經的棋盤棋子圖都很難找，更別說棋譜了。
真不是不想玩，有心無力而已。

TBD

學到新鮮玩意再更新。

Elo Rating System

https://en.wikipedia.org/wiki/Elo_rating_system

The Elo rating system is a method for calculating the relative skill levels of players in zero-sum games such as chess or esports. It is named after its creator Arpad Elo, a Hungarian-American physics professor. (Educated in public primary and secondary schools, he earned his BS (22歲) and MS (25歲) degrees, in Physics, from the University of Chicago.)

西洋棋的elo rating在這裡，我的dota和chess在這裡。

Pairwise comparisons form the basis of the Elo rating methodology.

https://github.com/V2beach/books/blob/main/1978-elo-theratingofchessplayerspastandpresent.pdf

Elo’s central assumption was that the chess performance of each player in each game is a normally distributed random variable. Although a player might perform significantly better or worse from one game to the next, Elo assumed that the mean value of the performances of any given player changes only slowly over time. Elo thought of a player’s true skill as the mean of that player’s performance random variable.

A further assumption is necessary because chess performance in the above sense is still not measurable. One cannot look at a sequence of moves and derive a number to represent that player’s skill. Performance can only be inferred from wins, draws, and losses. Therefore, a player who wins a game is assumed to have performed at a higher level than the opponent for that game. Conversely, a losing player is assumed to have performed at a lower level. If the game ends in a draw, the two players are assumed to have performed at nearly the same level.

實踐中存在很多問題。

Mathematical details

如果玩家A的rating是RA，玩家B的當前分數是RB，玩家A預測分數的公式（using the logistic curve with base 10）是
$E_{\mathrm{A}}=\frac{1}{1+10^{\left(R_{\mathrm{B}}-R_{\mathrm{A}}\right) / 400}} .$
相似地，B的預期分數是
$E_{\mathrm{B}}=\frac{1}{1+10^{\left(R_{\mathrm{A}}-R_{\mathrm{B}}\right) / 400}} .$
也可以表示為
$E_A=\frac{Q_A}{Q_A+Q_B}$
和
$E_B=\frac{Q_B}{Q_A+Q_B},$
其中$Q_A=10^{R_A/400}$$Q_B=10^{R_B/400}$。這個logistic函數的曲線如下，

其實就是用分差把預期分數約束到0到1之間，其中勝利是1，失敗是0。

假設玩家A（當前分數$R_A$）的預期分數是$E_A$但是實際得分是$S_A$，玩家更新分數的公式是
$R_{\mathrm{A}}^{\prime}=R_{\mathrm{A}}+K \cdot\left(S_{\mathrm{A}}-E_{\mathrm{A}}\right).$

K-factor set at K=16 for masters and K=32 for weaker players.

Moreover, online judge sites are also using Elo rating system or its derivatives. For example, Topcoder is using a modified version based on normal distribution, while Codeforces is using another version based on logistic distribution.

Formal derivation for win/loss games
The above expressions can be now formally derived by exploiting the link between the Elo rating and the stochastic gradient update in the logistic regression.有的用隨機梯度更新分數

Logistic/Sigmoid

A logistic function or logistic curve is a common S-shaped curve (sigmoid curve) with the equation.

$f(x)=\frac{L}{1+e^{-k\left(x-x_0\right)}}$

where

• L is the carrying capacity, the supremum of the values of the function;
• k is the logistic growth rate, the steepness of the curve; and
• x0 is the x value of the function’s midpoint.
  The logistic function has domain the real numbers, the limit as x→−∞ is 0, and the limit as x→+∞ is L.

sup(X)是取上限函数，inf(X) 是取下限函数。 sup是supremum的简写，意思是：上确界，最小上界。 inf是infimum的简写，意思是：下确界，最大下界。

A sigmoid function refers specifically to a function whose graph follows the logistic function. It is defined by the formula:

$\sigma(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{1+e^x}=1-\sigma(-x) .$

The logistic function was introduced in a series of three papers by Pierre François Verhulst between 1838 and 1847, who devised it as a model of population growth by adjusting the exponential growth model。

Exponential Growth：

這logistic函數發明初衷是用於優化人口增長函數，在統計學和機器學習的應用只是它茫茫多應用的其中之一而已。
所有圖像長得像logsitic函數的都是sigmoid函數(S-shaped curve)。

Logistic functions are used in several roles in statistics. For example, they are the cumulative distribution function of the logistic family of distributions, and they are, a bit simplified, used to model the chance a chess player has to beat their opponent in the Elo rating system. More specific examples now follow.

Logistic regression

Logistic functions are used in logistic regression to model how the probability p of an event may be affected by one or more explanatory variables: an example would be to have the model

$p = f(a + bx),$

where x is the explanatory variable, a and b are model parameters to be fitted, and f is the standard logistic function.

Logistic regression and other log-linear models are also commonly used in machine learning. A generalisation of the logistic function to multiple inputs is the softmax activation function, used in multinomial logistic regression.

Log-linear

先複習一下，線性回歸是$y_i(x)=\beta_0+\beta_1x_i$，

把數據$(x_i, y_i)$代入之後，用最小平方法(Least Square)計算loss function目標/損失函數，
${Loss}\left({\beta}_0, {\beta}_1\right)=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2=\sum_{i=1}^n\left(y_i-\left({\beta}_0+{\beta}_1 x_i\right)\right)^2$
之後更新beta修正函數擬合數據。

而log-linear就是把a+bx結果代入logistic或者其他sigmoid函數，好處是比如對分類任務來說，这个Sigmoid Function可以将线性的值，映射到[0-1]范围中。如果映射结果小于0.5，则认为是负的样本，如果是大于0.5，则认为是正的样本。

採用logistic分布和gaussian/normal分布的區別？

A workable rating system, fully developed from basic theory, includes certain principal components:

1. Rating scale
2. Performance distribution function
3. Percentage expectancy function
4. Performance rating formula
5. Continuous rating formula
6. Appropriate numerical coefficients and ancillary formulae
   —— 8.12 The Rating of Chessplayers, Past & Present, Second Edition, Arpad E. Elo

區別就是預期分數（player’s expected score）的計算公式，上面用的logistic function(base10)其實就是logistic distribution的CDF，可以發現如下圖所示跟normal distribution的CDF很像。

• In probability theory and statistics, the logistic distribution is a continuous probability distribution.
• Its cumulative distribution function is the logistic function, which appears in logistic regression and feedforward neural networks.
• It resembles the normal distribution in shape but has heavier tails (higher kurtosis).

logistic distribution其實就是尾部更長的normal distribution了。

Logistic distribution				Normal distribution
Probability density function				Probability density function The red curve is the standard normal distribution.
Cumulative distribution function				Cumulative distribution function
Notation	LogisticDistribution(μ,s)			${\displaystyle \mathcal{N}(\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)}$
Parameters	${\displaystyle \mathrm{\mu <!--\; \mu \; -->},}$ location (real) ${\displaystyle s>0,}$ scale (real)			${\displaystyle \mathrm{\mu <!--\; \mu \; -->}\in <!--\; \in \; -->\mathbb{R}}$ = mean (location) ${\displaystyle {\mathrm{\sigma <!--\; \sigma \; -->}}^2\in <!--\; \in \; -->{\mathbb{R}}_{>0}}$ = variance (squared scale)
Support	${\displaystyle x\in <!--\; \in \; -->(-<!--\; -\; -->\mathrm{\infty <!--\; \infty \; -->},\mathrm{\infty <!--\; \infty \; -->})}$			${\displaystyle x\in <!--\; \in \; -->\mathbb{R}}$
PDF	${\displaystyle \frac{e^{-<!--\; -\; -->(x-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})/s}}{s{\left(1+e^{-<!--\; -\; -->(x-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})/s}\right)}^2}}$			${\displaystyle \frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}^2}}{e}^{-<!--\; -\; -->\frac{(x-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}^2}}}$
CDF	${\displaystyle \frac{1}{1+e^{-<!--\; -\; -->(x-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})/s}}=\frac{1+\tanh <!--\; \; -->\frac{x-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}}{2s}}{2}}$			${\displaystyle \mathrm{\Phi <!--\; \Phi \; -->}\left(\frac{x-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}}\right)=\frac{1}{2}\left[1+\mathrm{erf}<!--\; \; -->\left(\frac{x-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}\sqrt{2}}\right)\right]}$
Quantile	${\displaystyle \mathrm{\mu <!--\; \mu \; -->}+s\log <!--\; \; -->\left(\frac{p}{1-<!--\; -\; -->p}\right)}$			${\displaystyle \mathrm{\mu <!--\; \mu \; -->}+\mathrm{\sigma <!--\; \sigma \; -->}\sqrt{2}{\mathrm{erf}}^{-<!--\; -\; -->1}<!--\; \; -->(2p-<!--\; -\; -->1)}$
Mean	${\displaystyle \mathrm{\mu <!--\; \mu \; -->}}$			${\displaystyle \mathrm{\mu <!--\; \mu \; -->}}$
Median	${\displaystyle \mathrm{\mu <!--\; \mu \; -->}}$			${\displaystyle \mathrm{\mu <!--\; \mu \; -->}}$
Mode	${\displaystyle \mathrm{\mu <!--\; \mu \; -->}}$			${\displaystyle \mathrm{\mu <!--\; \mu \; -->}}$
Variance	${\displaystyle \frac{s^2{\mathrm{\pi <!--\; \pi \; -->}}^2}{3}}$			${\displaystyle {\mathrm{\sigma <!--\; \sigma \; -->}}^2}$

Probability theory basics機率基礎

https://www.youtube.com/watch?v=GwSEguqJj6U&list=PLtvno3VRDR_jMAJcNY1n4pnP5kXtPOmVk
台大電機 Prof. 葉丙成 機率與統計 2013，這個講得超好。

為什麼我們要研究機率？
因為我們對這世界了解太少，這世界的運作有很多仍是未知的。——prof.benson

術語：

• Experiment實驗(procedures實驗步驟、model機率模型、observations結果觀察，三個部分任何一個改變，都會變為新的實驗)，
• Outcome結果，
• Sample Space樣本空間，若是S={o1,…,on}n個outcome的集合
• Event事件（實驗結果的敘述，因此是Outcome的集合，或者是Sample Space的子集），
• Event Space事件空間，則為\{\{o1},…,{on},{o1,o2},{o1,o3},…,{on-1,on},{o1,o2,o3},…,{o1,o2,…,on},{}}一共2^n個事件元素的集合
• Probability機率（是個函數，P(Event)，Probability is a function of Event(Set)，Domain定義域就是Event Space，Range值域是[0,1]）
• Set Theory（因為Probability is a function of Set，所以要了解Set）術語：
  • Element, Set, Subset, Universal Set全集, Empty Set, Intersection交集, Union并集/聯集, Complement補集, Difference差集(X - Y), Disjoint不相交(X, Y disjoint if X∩Y=∅), Mutually Exclusive互斥（兩個set是disjoint，一堆集合兩兩不相交就是互斥）
  • De Morgan’s Law:
    

為什麼事件空間是2^n？一次實驗裡兩個結果，三個結果怎麼可能同時發生？
剛開始這個疑問就是沒搞清結果和事件的區別，一個事件可能包含多個結果。（37分鐘有例子）

Axioms /ˈaksɪəm/

從這部影片第一次了解一個理論的公理，中國大陸的教學真差。
近代數學常從數條公理推導出整套理論，線性代數有8(9?)條公理(9 axioms of linear algebra/real vector spaces):

• Additive axioms. For every x,y,z in X, we have
  • x+y = y+x.
  • (x+y)+z = x+(y+z).
  • 0+x = x+0 = x.
  • (-x) + x = x + (-x) = 0.
• Multiplicative axioms. For every x in X and real numbers c,d, we have
  • 0x = 0
  • 1x = x
  • (cd)x = c(dx)
• Distributive axioms. For every x,y in X and real numbers c,d, we have
  • c(x+y) = cx + cy.
  • (c+d)x = cx +dx.
    整套理論只基於幾條公理的好處是，對於一個新問題只需要確定滿足這些公理（其實沒有定義“+”要怎麼做，是general的，套別的case其實不一定滿足），就能適用其他所有定理。
    公理不用證明，axioms是理性直覺覺得是對的東西。只從這幾條廢話推導出所有定理確實牛逼。

Axioms of Probability(機率三公理):

• Axiom 1: For any event A, $P(A) \geq 0$
• Axiom 2: Probability of the sample space S is $P(S)=1$
• Axiom 3: If A1,A2,A3,⋯ are disjoint events, then $P(A_1 \cup A_2 \cup A_3 \cdots)=P(A_1)+P(A_2)+P(A_3)+\cdots$

axiom3的disjoint即互斥。

性質(定理)

• P(A) = P(A-B) + P(A∩B)
• P(A∪B) = P(A) + P(B) - P(A∩B)
• 切麵包定理：若 $C_1, C_2, \cdots, C_n$互斥，且$C_1 \cup C_2 \cup \cdots \cup C_n = S$，則对任何事件 A：$P(A) = P(A \cap C_1) + P(A \cap C_2) + \cdots + (A \cap C_n)$
• 若A⊂B則P(A)≤P(B)
• Boole’s inequality/Union Bound布爾不等式：對任何事件A1, A2, …, An，$\mathbb{P}\left(\bigcup_i A_i\right)\leq \sum_i\mathbb P(A_i)$
• Bonferroni’s inequality

conditional probability條件機率(貝氏定理)

P ( X | Y ), Y是觀察到的已發生的事件，X是關心的未發生的事件。

tex公式裡∪是\\cup，∩是\\cap，一個杯子一個帽子很形象很有趣。

$P(X|Y) = \frac{P(X\cap Y)}{P(Y)}$

P ( X | Y )可以理解成只是樣本空間S變成了Y而已。

若事件C1, C2 . . . Cn互斥且S = C1 ∪ C2 ∪ . . . . . ∪ Cn，則對任意事件A，

• Law of Total Probability(切麵包)，$\begin{array}{l} P(A) =\sum\limits_{i=1}^{n} P(C_i)P(A| C_i)\end{array}$。Ex：阿宅 vs. 可愛店員：店員對阿宅笑否，受店的生意影響很大。已知滿座機率，可愛店員對阿宅笑的機率？
• Bayes’ Rule, $ P(C_j|A)=\frac{P(A|C_j)P(C_j)}{\sum\limits_{i=1}^{n} P(A | C_i) P(C_i)}$，之前算的都是P of A given C，貝葉斯是解決計算P of C given A。Ex：一日，老闆見可愛店員笑，請問在此情況下，當日生意滿座之機率為何？
  

Independence(獨立性)

若滿足P(A∩B)=P(A)P(B)則A、B兩事件為獨立事件。
跟互斥對比：A∩B=∅不可能事件即P(A∩B)=0。

可以理解成兩個實驗的樣本空間沒有交集？

Prof. Benson立刻就講到了更好的定義，若滿足P(A|B) = P(A)則A、B兩事件為獨立事件。

根據上面的理解“P ( X | Y )可以理解成只是樣本空間S變成了Y而已”，即Y的樣本空間跟X完全沒有關係，比如X的樣本空間是{o1, o2, …, on}，Y的樣本空間是{p1, p2, …, pn}，事件Y可能是{p1, p2, p3}，完全不影響這個世界裡事件X發生與否，這裡的Y實際上是{p1, p2, p3, o1, o2, …, on}。

非獨立事件的conditional probability是這樣的：假如實驗是投一個6面骰子一次，樣本空間是{1,2,3,4,5,6}，X事件是扔出{1,5,6}，Y事件是扔出大數{4,5,6}，那X｜Y的樣本空間就變成了{4,5,6}即X只可能是扔出了大數中的某個數，o1∩Y=∅，X就變成{5,6}，P(X｜Y)則=P({5,6})/P({4,5,6})=2/3。

Graph Scheme

實驗分解。

counting method

為什麼機率需要算排列組合，需要counting？
因為古典機率常假設每個outcome發生機率相同，所以計算某個事件的機率，等同於計算這個事件包含多少個outcome，像上面計算事件空間那樣，機率（事件）=outcome數/事件空間元素數。所以機率問題等於counting問題。

counting前的判斷：

• distinguishable? 可區分？
• w/wo replacement? 有放回？
• order matters or not? 關心順序嗎？if order matters then Permutation (排列問題) else Combination (組合問題)

Permutation(order matters)

• w/o replacement
  
• w/ replacement
  

Combination(order doesn’t matter)

除以k!就是因為order doesn’t matter，要把order的排列除掉，也就是k個items的所有排列方式k!種（比如3個items有6種排列方式=3!）。

數學裡叫n choose k，n取k。

$C(n, k) = \binom{n}{k} = C_n^k = \frac{n!}{k!(n-k)!}$

Multinomial

Random Variable隨機變數

就是把outcome數字化的方式，讓推導更數學、更簡明。

• Discrete R.V. (離散隨機變數)
• Continuous R.V. (連續隨機變數)
  

隨機變數的函數也是隨機變數，因為outcome的函數的函數也是outcome的函數。

CDF (Cumulative Distribution Function)

累計分佈函數$F_X(x) = P(X \le x)$。

PMF (Probability Mass Function)

兩個函數一個是X=x(PMF)，一個是X<=x(CDF)就是這個區別。
分布是把很多相似實驗總結成規律。

Discrete Probability Distributions

Bernoulli Distribution

只care成功失敗，一次實驗，非1即0。

Binomial Distribution

二項分布。

n=1時退化成白努力分布。

Uniform Distribution

均勻分布。

Geometric Distribution

几何分布。

$P_X(x)$等比級數，即幾何級數

$S_n=\frac{a_1\left(1-r^n\right)}{1-r}, r \neq 1$

Pascal Distribution

k=1就退化成Geometric分布。

Poisson Distribution

Probability Density Function

PDF就是CDF的微分！

積分constant不用擔心，可以通過-無窮=0等邊界條件唯一確定。

Uniform Distribution

Exponential Distribution

Gamma / Erlang Distribution

Normal Distribution

終於來到elo的重點。

比如gaussian，為什麼單獨對standard normal建表？因為：。。。

https://en.wikipedia.org/wiki/Normal_distribution

PDF/PMF vs. CDF

關於PDF vs. PMF上面（why mass和density，這張圖一目了然，continuous不能有PMF，就是顧名思義“質量”和“密度”的關係）寫過了。

PDF/PMF 就是 P(x = …)；
CDF 就是P(… < x < …)。

也是一目了然。

Central Limit Theorem(中央極限定理)

應用

為什麼mean是probability，variance是probability(1- probability)，因為Bernoulli的X非1即0，所以expectation是1*probability + 0*(1- probability)，$Var(X)=E(X^2)-E(X)^2 = probability - probability^2$。

失憶性

似然likelihood

• 概率（Probability） 是指给定某个已知的模型和参数时，观测数据出现的可能性。
  • 已知模型和参数，计算数据出现的概率。
• 似然（Likelihood） 则是指给定观测数据的情况下，某个特定模型参数出现的可能性。
  • 已知数据，计算特定模型参数的可能性。

似然（Likelihood） 通常指的是一个函数，用来衡量某个特定参数值在给定数据集下生成这些数据的可能性。它并不是概率，虽然其形式和概率类似，但有所不同。具体来说，似然是根据已知数据和模型参数来计算某个参数值“合理性”的度量。

在统计学中，我们有一个统计模型，其中包含一些我们想要估计的未知参数。我们通过观测到的数据来推断这些参数的值。
似然函数（Likelihood Function）是指给定某个参数值后，生成观测数据的概率（或可能性）。我们通过似然函数来评估不同参数值的合理性。

先驗？後驗？

貝葉斯定理：
$P(\theta \mid D) = \frac{P(D \mid \theta) P(\theta)}{P(D)}$，
其中：

$P(\theta \mid D)$ 是后验概率(Posterior Probability)，即在观察到数据 $D$ 后，参数 $\theta$ 的概率分布。

在贝叶斯框架下，后验（posterior）是我们通过已有的数据（如症状、检查结果等）对某个假设或未知参数（如是否患病）的认知的更新。

$P(D \mid \theta)$ 是似然函数，即在给定参数 $\theta$ 的条件下，观察到数据 $D$ 的概率。

$P(\theta)$ 是先验概率(Prior Probability)，即在没有观察到数据时，关于参数 $\theta$ 的先验知识。

先验（Prior）是指我们在没有观察到数据之前，对某个参数或假设的信念或假设。也就是说，先验是我们根据以前的知识、经验或理论对某个未知量（如参数、假设等）做出的初步估计。

$P(D)$ 是证据或标准化常数，确保后验概率的总和为1。

举个例子：

假设你在诊断一个病人是否患有某种疾病，$\theta$ 代表病人是否患病（例如 $\theta = 1$ 代表患病，$\theta = 0$ 代表不患病）。你有以下信息：

先验 $P(\theta)$：表示你在没有任何诊断数据时，认为病人患病的概率。

似然 $P(D \mid \theta)$：表示在给定病人确实患病或未患病的情况下，得到某种诊断结果 $D$ 的概率。

后验 $P(\theta \mid D)$：表示在获取到诊断结果 $D$ 后，病人患病的更新概率。

應用場景是我們經常需要已知 $P(\theta \mid D)$ 求 $P(D \mid \theta)$（或反之），那麼假如我們還知道 $P(\theta)$ 就可以用貝葉斯公式求解，其中 $P(D)$ 根據上面條件機率中的Law of Total Probability(切麵包)可以通過 $P(D) = =\sum\limits_{i=1}^{n} P(\theta_i)P(D \mid \theta_i)$ 求解。

同樣用上面的例子，“$P(D)$”是診斷結果的機率，可以通過無數個獨立的病人是否患病 $P(\theta_i)$ 乘基於此的診斷結果 $P(D \mid \theta_i)$ 之和求得。

用似然解釋Neural Nets

監督學習模型和無監督學習模型都可以看作是一個似然函數。

1. 似然函數與預測的關係：
   • 对于分类任务，假设我们有 $C$ 个类别，并且通过神经网络得到了每个类别的概率 $p(y_i = c | x_i; \theta)$，其中 $c$ 是类别标签，$y_i$ 是样本 $i$ 的真实标签。
   • 这个概率分布表示了模型对每个类别的“信心”。假设真实标签是 $y_i = c$，那么我们关心的是模型预测该标签的概率 $p(y_i = c | x_i; \theta)$。
2. 模型目標轉為最大/極大化似然函數（maximum likelihood estimation，简作MLE）：
   • 对于所有训练数据点，似然函数 $L(\theta)$ 是所有预测的概率的乘积： $$L(\theta) = \prod_{i=1}^{N} p(y_i | x_i; \theta)$$
   • 这个似然函数表示了在给定所有训练数据的条件下，模型参数 $\theta$ 下观测到实际标签的“概率”或“可能性”。
   • 模型的目標就是找到 $\theta$ 讓模型預測到正確類別 $y_i$ 的概率 $p(y_i)$ 最大化。
3. 原來的乘積轉為對數：
   • 为了简化计算和优化，通常使用对数似然（log-likelihood），这将乘积转化为和（因為我們並不關心 $L$ 的絕對值而只希望越大越好）： $$\log L(\theta) = \sum_{i=1}^{N} \log p(y_i | x_i; \theta)$$
     • 对数似然的作用是将概率分布的乘法转化为对数的加法，便于优化（尤其是在梯度下降中）。
4. 负对数似然（NLL）：
   • 由于我们通常使用最大化对数似然来训练模型，但在优化过程中更常见的是最小化损失函数。因此，我们使用负对数似然（negative log-likelihood）作为损失函数： $$\text{NLL}(\theta) = -\sum_{i=1}^{N} \log p(y_i | x_i; \theta)$$
5. 其實交叉熵softmax或者MSE(L2) Loss都可以看作是一種NLL Loss：
   • 当我们假设数据点 $y_i$ 是从一个高斯（正态）分布中采样的，且预测值 $\hat{y}_i$ 也是一个高斯分布的均值时，NLL 会转化为 MSE。
     • 假设我们有一组样本 $(x_i, y_i)$，我们的目标是最小化 NLL，使得模型的预测概率最大化。如果我们假设数据点 $y_i$ 服从一个高斯分布，均值为 $\hat{y}_i$，方差为 $\sigma^2$，那么似然函数为： $$p(y_i | \hat{y}_i, \sigma^2) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp\left( -\frac{(y_i - \hat{y}_i)^2}{2 \sigma^2} \right)$$
     • NLL： $$\text{NLL} = - \sum_{i=1}^{N} \log p(y_i | \hat{y}_i, \sigma^2) = \sum_{i=1}^{N} \frac{(y_i - \hat{y}_i)^2}{2 \sigma^2} + \frac{N}{2} \log(2 \pi \sigma^2)$$
     • 可以看到，这里有两部分：一部分是 $(y_i - \hat{y}_i)^2$，另一部分是常数项。我们通常关心的是与参数优化相关的部分，因此常数项可以忽略不计，剩下的就是一个类似于均方误差的项： $$\text{NLL} \propto \sum_{i=1}^{N} (y_i - \hat{y}_i)^2$$
   • 在二分类问题中，我们假设每个样本的标签 $y_i$ 是从 Bernoulli 分布中采样的，模型预测的是一个表示为类别 1 的概率 $p(y_i = 1 | x_i; \theta)$。假设输出概率是 $\hat{y}_i$，那么负对数似然（NLL）为： $$\text{NLL} = - \sum_{i=1}^{N} \left[ y_i \log \hat{y}_i + (1 - y_i) \log (1 - \hat{y}_i) \right]$$
     • 这实际上就是 $\textbf{二分类交叉熵（Binary Cross-Entropy）}$ 损失函数。因此，二分类交叉熵与 NLL 是等价的，它表示了模型预测概率与真实标签之间的差异。

有标签数据（监督学习）：似然函数通常是

我們希望最大化给定输入 $X$ 时，输出 $Y$ 的条件概率。

无标签数据（无监督学习）：似然函数是

我們希望最大化给定数据 $X$ 时，原分布数据出现的概率。

用貝葉斯解釋Neural Nets

1. 贝叶斯公式

根据贝叶斯定理，后验概率分布可以表示为：

其中：

• $ P(\theta \mid X, Y) $ 是后验分布，表示在观测数据 $ X $ 和标签 $ Y $ 后，参数 $ \theta $ 的分布。
• $ P(Y \mid X, \theta) $ 是似然函数，表示在给定参数 $ \theta $ 和输入 $ X $ 时，标签 $ Y $ 出现的概率。
• $ P(\theta) $ 是先验分布，表示我们对参数 $ \theta $ 的先验信念。
• $ P(Y \mid X) $ 是边际似然或证据：

2. 最大化后验概率MAP

即最大後驗概率估計(Maximum A Posteriori estimation, MAP)。A posteriori is from Latin ā posteriōrī, which means literally, “from what is later.”

为了找到最可能的参数值 $ \theta $，我们希望最大化后验分布 $ P(\theta \mid X, Y) $：

由于分母 $ P(Y \mid X) $ 与参数 $ \theta $ 无关，是一个常数，因此可以忽略。这样，最大化后验概率等价于最大化分子：

3. 对数变换

为了简化计算，我们对目标函数取对数。由于对数函数是单调递增的，最大化对数与最大化原函数等价：

利用对数的乘法法则，这可以拆分为两部分：

4. 最小化负对数损失

在优化中，我们通常通过最小化损失函数来实现参数优化。因此，我们可以将上述公式转化为最小化负对数后验概率：

这就得到了 MAP 损失函数：

• 第一项 $ -\log P(Y \mid X, \theta) $ 是负对数似然（NLL），衡量模型预测的准确性。
• 第二项 $ -\log P(\theta) $ 是负对数先验，对参数进行正则化，鼓励模型参数满足先验分布。

5. 特殊情况：最大似然估计（MLE）

当先验 $ P(\theta) $ 是均匀分布时，先验项 $ \log P(\theta) $ 是一个常数。此时，MAP 退化为最大似然估计（MLE）：

即，最大似然估计只关注似然，不考虑先验。

总结

• MAP 最大化的是后验概率 $ P(\theta \mid X, Y) $，通过结合似然和先验来优化参数。
• MLE 是 MAP 的一种特殊情况，当先验均匀时，MAP 退化为 MLE，只最大化似然。

頻率學派vs.貝葉斯

這篇文章講頻率學派和貝葉斯學派的區別講得還不錯，這裡面的共軛先驗跟我在LDA數學八卦裡學的學的Beta-Binomial共軛還不太是一回事。

dota mmr

https://dota2.fandom.com/wiki/Matchmaking
https://dota2.fandom.com/wiki/Matchmaking_Rating

Valve has stated that matchmaking tries to fulfil several criteria:

• The teams are balanced. (Each team has a 50% chance to win. It’s based on Elo rating.)
• The discrepancy in skill between the most and least skilled player in the match is minimized.
• The highest skill Radiant player should be close to the same skill as the highest skill Dire player.
• The discrepancy between experience (measured by the number of games played) between the least experienced player and the most experienced player is minimized.
• Each team contains about the same number of parties.
• Five-player parties can only be matched against other five-player parties.
• Players’ language preferences contains a common language.
• Wait times shouldn’t be too long.

elo hell

Elo hell (also known as MMR hell) is a video gaming term used in MOBAs and other multiplayer online games with competitive modes. It refers to portions of the matchmaking ranking spectrum where individual matches are of poor quality, and are often determined by factors such as poor team coordination which are perceived to be outside the individual player’s control. This ostensibly makes it difficult for skilled players to “climb” up the matchmaking ranking (and out of Elo hell), due to the difficulty of consistently winning games under these conditions. Its existence in various games has been debated, and some game developers have called it an illusion caused by cognitive bias.

• Python Keywords
  • assert
    • in dictionary
    • in python
  • yield
    • in dictionary
    • in python
    • generator? what?
    • generator expression
    • yield写斐波那契数列
  • numpy dot
    • 範例
    • 如果明確定義行或列向量
  • lambda
    • 基本语法
    • 示例
    • 优缺点
  • 广播broadcast
  • random
  • *
  • pad
  • array改變形狀
    • transpose和moveaxis
    • reshape
  • array擴展
  • concatenation拼接
  • torchvision.transforms
    • Compose()
    • Normalize()
  • torch.nn.Sequential()
  • DataLoader
    • PIL/Pillow
    • 為什麼需要DataLoader？
  • PyTorch vs. Numpy
  • requires_grad和Pytorch裡的computational graph
    • 關於torch.no_grad()
  • 傳參：可變對象 vs. 不可變對象
  • model.eval()
  • 零碎pytorch
  • keepdim=True
  • 使用預訓練resent
• 數學
  • 矩阵计算加速
    • 1. L2距离矩阵
    • 2. 余弦相似度矩阵
    • 3. 矩阵 Frobenius 范数的平方
    • 4. 交叉熵损失的高效计算
    • 5. 矩阵的平方和（双循环的优化）
    • 6. 矩阵乘法优化（维度分解）
  • 矩陣求導，要轉置
  • 商的求导法则
  • 幂函数的求导公式
  • 正則項的偏導
  • Adam優化版
  • 对数的商的性质
  • BN的梯度
    • 1. Batch Normalization (BN) 层的梯度计算
    • 2. Dropout 层的梯度计算
  • chain rule 多元複合函數求導法則
  • 一個變量的導數和他本身維度通常一致
    • 1. 标量对矩阵的导数
    • 2. 矩阵对标量的导数
    • 3. 矩阵对矩阵的导数
• Notes
  • Lecture 1
  • Lecture 2
  • Lecture 3
    • chatgpt給的一個計算梯度的例子
    • 示例函数
    • 1. 计算梯度
    • 2. 梯度的意义
    • 3. 如何找到梯度最大的方向
  • Lecture 4 計算圖(local gradient and chain rule)
    • Jacobian 矩阵计算示例
  • Lecture 5
    • CNN的卷積
    • 信號處理的卷積計算signal processing convolution
    • deconvolution反卷積
    • 右圖為什麼downsample太快不好？那為什麼還要pooling？現在不缺算力追求越多參數越好是不是不再需要太多downsample了？
    • Pooling 层的 stride 是否一般设置为没有 overlap？
    • 為什麼max pooling比average pooling更commonly used？
  • Lecture 6
    • Activation Functions(non-linearity) 为什么输入要正负样本均衡？
    • Data Preprocessing
    • Weight Initialization
    • Batch Normalization
    • Babysitting the Learning Process
    • Hyperparameter Optimization
  • Lecture 7
    • Fancier optimization
    • Regularization
    • Transfer Learning
  • Lecture 8
    • CPU vs GPU
    • Deep Learning Frameworks
  • Lecture 9
    • LeNet-5
    • AlexNet
    • ZFNet
    • VGG
    • GoogLeNet
    • ResNet
    • Other Architectures
  • Lecture 10
    • 循環nn vs. 递归nn
    • vanilla RNN
    • attention
    • Multilayers RNN
    • LSTM
    • 激活函數non-linearity
  • Lecture 11
    • Semantic Segmentation
    • Classification + Localization
    • 回歸vs.分類 (Classification vs. Regression)
    • Object Detection
    • Instance Segmentation
  • Lecture 12
    • Weights Visualization
    • Last Layer Visualization
    • Activations Visualization
  • Lecture 13
    • Unsupervised Learning
    • Generative Models
    • PixelRNN/CNN
    • Auto-Encoders
    • Variational Auto-Encoders
    • Generative Adversarial Networks
  • Lecture 14
    • What is Reinforcement Learning?
    • Markov Decision Processes
    • Q-Learning
  • 傳統 Q-learning
  • DQN, Deep Q-Learning
    • Policy
    • 方法1: reward 和執行次數算 weighted sum
    • 更常用方法2: 优势函数
  • Continue Lecture 14 Reinforcement Learning
    • Policy Gradients
    • REINFORCE algorithm
  • Lecture 15
    • Algorithms for Efficient Inference
    • Hardware for Efficient Inference
    • Algorithms for Efficient Training
    • Hardware for Efficient Training
  • Lecture 16
    • What are adversarial examples?
    • Why do they happen?
    • 在高維度裡為什麼隨機找一個random vector跟reference vector很可能是正交的？有點反直覺？
    • What are the defenses?
  • Lecture 17 Attention and Transformers
    • seq2seq with vanilla rnn or lstm
    • Attention
    • Visual Attention
    • 理解論文title
    • Abstract Attention Layer, Self Attention
    • 1. Positional Encoding
    • 2. Masked Self-Attention
    • 3. Multihead Self-Attention
    • Layer Example
    • Comparison
  • Lecture 18 Self-Supervised Learning
    • Confusion Matrix
    • Pretext tasks from image transformations
    • Contrastive representation learning
    • SimCLR and MOCO
    • CLIP
    • CPC
    • Bert/GPT/T5
  • 降維
    • PCA, t-SNE
  • Lecture 19 3D Vision
• Assignments
  • CIFAR-10 open-ended challenge
    • Idea 0
    • Idea 1
    • Idea 2
  • COCO
• Colab
  • Colab Pro
• Regular Expression
  • 加粗标题
  • 图片缩放
  • wiki圖片改assets路徑
• 小知识
• 常遇見bug一覽

Python Keywords

assert

in dictionary

verb

1. to say that something is certainly true断言
2. to do something to show that you have power主张
   • assert your authority/right

in python

definition

The assert keyword is used when debugging code.
用于调试代码。
The assert keyword lets you test if a condition in your code returns True, if not, the program will raise an AssertionError.
如果assert后的条件判断为真，则无事发生继续运行；为假则报错AssertionError。

usage

>>> x = 9527
>>> assert x == 9527
>>> assert x == 1551
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AssertionError

yield

in dictionary

verb

1. produce产生
   • The process yields oil for industrial use.
   • Early radio equipment yielded poor sound quality.
   • The experiments yielded some surprising results.
2. give up放弃
   • Despite renewed pressure to give up the occupied territory, they will not yield.
3. bend/break弯折
   • His legs began to yield under the sheer weight of his body.
4. stop让路
   • If you’re going downhill, you need to yield to bikers going uphill.
     • Phrasal verb: yield to something

in python

definition

The yield keyword is used to return a list of values from a function.
用来返回函数值。
Unlike the return keyword which stops further execution of the function, the yield keyword continues to the end of the function.
跟return相比，yield返回值后，函数会继续运行。
When you call a function with yield keyword(s), the return value will be a list of values, one for each yield.
无论yield几次（哪怕只有一次），都会以generator的形式返回。

usage

>>> def test1():
...     yield 9527
... 
>>> print(type(test1()))
<class 'generator'>
>>> print(test1()) # 如果是return 9527這裡當然是直接打印9527
<generator object test1 at 0x1047d7350>
>>> for i in test1():
...     print(i)
... 
9527

可以用for遍历，或以迭代器的方式遍历

>>> def test2():
...     yield 1
...     yield 2
...     yield 3
... 
>>> x = test2() #a generator object
>>> print(next(x))
1
>>> print(next(x))
2
>>> print(next(x))
3
>>> for i in test2():
...     print(i)
... 
1
2
3

generator? what?

iterator first

https://docs.python.org/3/glossary.html#term-iterator
iterator is an object representing a stream of data.
迭代器是个数据流对象。
Repeated calls to the iterator’s __next__() method (or passing it to the built-in function next()) return successive items in the stream. When no more data are available a StopIteration exception is raised instead.
迭代器是這樣一種數據流對象：调用它的“__next__()”方法或用python内置函数“next(iterator)”可以得到它这个流的后继数据，没数据了就抛出StopIteration异常。
根据這裡迭代器的定义，我們就可以自造迭代器类。

>>> class MyNumbers:
...   def __iter__(self):
...     self.a = 1
...     return self
...   def __next__(self):
...     x = self.a
...     self.a += 1
...     return x
... 
>>> myclass = MyNumbers()
>>> myiter = iter(myclass)
>>> print(next(myiter))
1
>>> print(next(myiter))
2
>>> print(next(myiter))
3

now generator

https://docs.python.org/3/glossary.html#term-generator
A function which returns a generator iterator. It looks like a normal function except that it contains yield expressions for producing a series of values usable in a for-loop or that can be retrieved one at a time with the next() function.
“generator function”是个包含yield的函数，返回结果是个可以被for循环或python内置函数next()遍历的iterator。

Usually refers to a generator function, but may refer to a generator iterator in some contexts. In cases where the intended meaning isn’t clear, using the full terms avoids ambiguity.
“generator”可能指代函数或迭代器，所以最好说全“生成器函数”或“生成器迭代器”而不只是说“生成器”。

Generator iterator is an object created by a generator function.
Each yield temporarily suspends processing, remembering the location execution state (including local variables and pending try-statements). When the generator iterator resumes, it picks up where it left off (in contrast to functions which start fresh on every invocation).
每个yield都会暂时中止处理，记住位置执行状态（包括局部变量和待处理的try语句）。当生成器迭代器恢复时，它会从上次中断的地方继续执行（与每次调用时都从头开始的函数不同）。

即，调用包含yield的函数会返回一个iterator，每次调用next(iterator)的时候函数就会运行到下一个yield处，python会记录这个yield的位置状态，下次next(iterator)从这里开始运行函数

>>> def test():
...     yield
... 
>>> print(type(test()))
<class 'generator'>
>>> print(type(test))
<class 'function'>
>>> def test():
...     return
... 
>>> print(type(test()))
<class 'NoneType'>
>>>

根据上述官方文档，这里的<class 'generator'>实际上是个”generator iterator”。这里的<class 'function'>实际上是个”generator function”。

generator expression

以前常用的下面这种写法也是个generator，()括号里面写一个循环（必须有括号）。

>>> x = (i*i for i in range(10))
>>> print(type(x))
<class 'generator'>
>>> for i in x:
...     print(i)
... 
0
1
4
9
16
25
36
49
64
81

>>> def genEx(num):
...     i = 0
...     while i < num:
...             yield i * i
...             i = i + 1
... 
>>> x = genEx(10)
>>> for i in x:
...     print(i)

yield写斐波那契数列

The Fibonacci sequence is the series of numbers where each number is the sum of the two preceding numbers. For example, 0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, …

>>> def fib(limit): # a generator function
...     a, b = 0, 1
...     while (b < limit):
...             yield b
...             a, b = b, a + b
... 
>>> x = fib(200) # a generator iterator
>>> for i in x:
...     print(i)
... 
1
1
2
3
5
8
13
21
34
55
89
144
>>>

numpy dot

矩陣點乘，但向量其實是特殊處理的：
在數學上，點乘需要一個行向量和一個列向量：

但 NumPy 的 1D 陣列已隱含了這個行為。只要兩個 1D 陣列長度相等，它會自動將一個看作「行」，另一個看作「列」，執行點乘運算。因此，不需要手動轉置。

範例

import numpy as np

# 定義兩個向量
v1 = np.array([1, 2, 3])  # 一維向量
v2 = np.array([4, 5, 6])  # 一維向量

# 點乘
dot_product = np.dot(v1, v2)
print("點乘結果:", dot_product)  # 結果: 32

如果明確定義行或列向量

如果需要明確區分行向量或列向量，可以使用 2D 陣列來表示：

列向量：v_col = np.array([[1], [2], [3]])（形狀是 3×1）
行向量：v_row = np.array([[1, 2, 3]])（形狀是 1×3）
這時候計算點乘就需要遵守矩陣乘法的規則。

範例：行與列向量操作

v_row = np.array([[1, 2, 3]])  # 行向量
v_col = np.array([[4], [5], [6]])  # 列向量

# 行向量乘列向量 (結果是標量)
result = np.dot(v_row, v_col)
print("行向量 * 列向量的結果:")
print(result)  # 結果是 [[32]]

# 列向量乘行向量 (結果是矩陣)
result2 = np.dot(v_col, v_row)
print("列向量 * 行向量的結果:")
print(result2)  # 結果是 3x3 矩陣