2024年度总结:行有不得,反求诸己
对今年的自己说一句:行有不得,反求诸己。 继续努力! 2024年 感悟 今年在混乱的社会百态与网络舆论中感受到了乱花迷眼。 现实世界不是理想真空,只要一个人想前进成事,就难免受到各种干扰: 事情本身的阻力。 个人内心想法的碰撞。 外界纷杂的各种拉扯。物理方面,各类困难的准备条件;精神方面,以不同的形式呈现:捧杀、明嘲暗讽、浅薄的说教等。 先反求诸己,之后逐渐吸引到同道者的支持。噪音太多,无须理会。 精力分配给一件件具体的小事 理论方面:工科数学基础、计算机理论基础、大数据与人工智能。 前沿动态:更多地开始关注农业、医疗、机器人等与计算机行业的结合,仍然在不断思考技术的意义,走的更坚定。 新的发现:可通过博客了解前沿研究人员的看法。 国外:Claude、OpenAI等。 国内:GLM、讯飞星火、DeepSeek等。 读书:《宝贵的人生建议》、《西游记》、《我们为什么要睡觉》、《大明王朝》、众多网络小说等。 兴趣培养:《新闻摄影》。 生活:安排家人看病调养,间歇性执行了跑步、俯卧撑等。 规律的生活习惯,早起-午休模式,最多可保持12小时状态,正常情况9小时左右状态会维持比较好。 减少的社交,聚焦到更有意义的事情,有限的朋友们中也看到了各自的执念、心酸与收获。 2025年 新计划 提高数据分析与处理能力,聚焦大数据与人工智能领域,更专业、更纯粹。 自学和复习更多相关数学: 一个是概率论、数理统计、随机过程等; 一个是数值代数、数值分析、最优化(运筹学); 一个是经典分析、函数论(复变函数与积分变换、抽象代数、泛函),比如深度学习里很重要的一块是知道逼近论的知识; 一个是计算机科学基础,包括离散数学、理论计算机科学。 编程实践能力:力扣刷题数500+。 读书、写书、摄影(硬件和软件方面的理论学习和实践)。 尝试自媒体,专业内容可视化,探索知识变现的可能性。 锻炼身体、健康管理。 愿景 日落之前赶进城。
计算机基础面试百问
先放一个草稿,慢慢补充 计算机基础面试百问 C/C++语言程序设计 语言整体认识 C和C++的区别 C++多态是什么,有什么优点 继承和组合 C语言选择题,判断哪个是注释符 分析一下UML和C++的区别 c语言中编译(控制可能是别的词)是用来干什么的 编译的含义 C语言基本单元是什么 问了c/cpp的一些关键字 好像有extern inline 还有几个我没听清楚- -然后动态链接和静态链接对了还有个dll文件是干嘛的 字典的操作什么(python?) C语言里面main函数有什么参数?分别有什么作用? C语言怎么统计一个函数被调用次数? 变量与运算 解释下局部变量和全局变量,与作用域的关系 C语言中局部变量以及其存储位置 局部变量属于什么区 位运算符的优先级 &&、&、||、|四个运算符哪个优先级最低? 不用额外空间实现两个变量值互换 a=3,a+=a-=a*a =-12 int x = 2; x » 2 / x » 1 = ? int b=2; 求(b»2)/(b»1) int a = 511, *b = &a; printf("%d", *b); a 不确定 b a的地址 c 512 d 511 流程控制 for(i=2;i==0) 循环几遍 if-else怎么匹配的 数组、指针、函数 判断数组定义那个错误 二维数组查第二行第三列...
如何在做事过程修炼良好的心态
用一些话激励提醒自己保持乐观心态,想起来就翻着看看 过程和结果哪个重要、努力和天赋哪个重要 如果已经有了好的结果,那么我会说过程重要; 如果还没有结果,那么我会认为结果重要 如果没有努力也没有成功或者努力了没找到正确的方法,我会感概一句天赋重要;如果努力了成功,我会说自己的不易并感概努力重要;如果毫不费力成功了,那是不会发生的。 完成一件事首先要战胜自己的心态,其次才是去想整个过程 减少与事情无关的信息摄入,你的大脑会不断存储你看到听到的信息,即使你没有专门去记(短视频×,moba游戏×),非要娱乐就玩点卡牌收集、挂机游戏都行(连连看也不行,因为和moba一样玩的时候要用脑,消耗精力),或者听歌,看个电影,听段相声(就是一乐一笑过后啥都不记得且过程中不消耗精力) 找准了努力的方向后,我们的努力能缩小和控制这些不确定性的负面影响,哪怕有影响也会是微乎其微的。 通过克服内心的恐惧,琢磨正确的方法而生长出来的自信,比起天赋异禀带来的自信,能更让人有踏实感和成就感。 静下心来分析事情瓶颈的成因,而不是把情绪和精力内耗在自我怀疑和否定上 其实,在我看来,做事情的过程就像是一个追光的过程。所谓追光不懈,就是每一个细节认真听讲认真思索,就是日复一日不曾间断的分秒必争的夜晚,就是认真地做好每一件看似无用的小事。相信我,经历足够时间的日积月累,你的这种“行动力”和“持续力”终会成为你最终成功最坚实的后盾。 如果非要说我有什么不一样,我想我可能得益于自己“选择性记忆”的能力。也就是,我很快会忘记那些让我感觉不顺心的事情,同时牢牢记住那些可以给我赋能的事情。 再者,我可能算是“自愈”能力比较强的人吧。我不会对结果有太高的期待,所以我会把自己遇到的每件好事都看成是大好事,而对再坏的事情我都基本有个心理准备,所以于我而言,再坏的事也坏不到哪里去。 保下限思考法 我想,或许恰恰是这种心态给我搭建了一个“舒适区”,让我的情绪一直比较平静,所以临场发挥相对来说就会稳定许多。 经常反思整个事情的当前状态,状态不好了就及时调整。同时,环境很重要,换个环境你也许一把就成了 无论在成功前还是成功后,保持平静心情,感觉差不要自责,感觉好了更勿炫耀,一份平静和从容更能得到上天的欣赏
LLM Tricks
简单问题直接问,把要求写在开头或者结束。 https://arxiv.org/abs/2307.03172 (研究发现简单问题step by step或者COT适得其反) 复杂问题,按照思维跳数把问题用\n分解或者用伪代码形式描述,同样重点尽量放句子两边。 (研究发现“When separating reasoning steps, newline \n symbol works better than step i, period . or semicolon ;”) 找灵感头脑风暴,可以让几个AI互相扮演比如模拟审稿人和作者一问一答。 e.g. 如果你是这篇文章的审稿人,你对作者提出哪些问题?你会为这篇文章写怎样的评语? If you were a reviewer for this article, what questions would you ask the author, and what would you write about this article? 你是这篇文章的作者审稿人给你的文章review如下,请写一篇rebuttal回复审稿人提出的问题,为自己尽可能争取分数 You are the author of this article and the reviewer gives you a review of the article below, please write a rebuttal reply to the questions asked by the reviewer and get as many points as possible for yourself...
openAI的发展及员工们的战略思想
openAI的官网有许多可以学习的内容,通过研究感兴趣的内容,提高自己的思维素养和能力水平。持续更新此篇文章。 认识openAI 2015公司情况 OpenAI 的研究总监是世界机器学习专家之一 Ilya Sutskever。我们的 CTO 是 Greg Brockman,他是 Stripe 的前任 CTO。该小组的其他创始成员都是世界级的研究工程师和科学家:Trevor Blackwell、Vicki Cheung、Andrej Karpathy、Durk Kingma、John Schulman、Pamela Vagata 和 Wojciech Zaremba。 Pieter Abbeel、Yoshua Bengio、Alan Kay、Sergey Levine 和 Vishal Sikka 是该小组的顾问。 OpenAI 的联合主席是 Sam Altman 和 Elon Musk。 OpenAI’s research director is Ilya Sutskever, one of the world experts in machine learning. Our CTO is Greg Brockman, formerly the CTO of Stripe. The group’s other founding members are world-class research engineers and scientists: Trevor Blackwell, Vicki Cheung, Andrej Karpathy, Durk Kingma, John Schulman, Pamela Vagata, and Wojciech Zaremba....
随笔:抓住这一刻的美好
在某个瞬间,想起大学的某个下午,阳光洒落在教学楼的教室里,给黑板前书写的老师蒙上一层细密的金黄色,某一刻回头的瞬间,老师看向学生优雅清丽的身姿,惊艳了一整个夏天,那时候一想到两个学期后就不能见到这么知性温雅的老师,就没来由的一阵难受,也很不希望那一刻到来。 时间无情,转眼间大学毕业两年了,网络上漫游时忽地想到多年前的感动,又在QQ中找到了老师,点进老师的动态,或许能有什么可供回忆的素材,就真的发现了老师和新一届学生的留影,可照片中朴素的身影却没能像年少时给我无限的光彩,只看到一位普通的老师,普通地将知识和煦地传授给每一位学生的老师,再也看不到那个我在大学时想要努力留住的美好身影。 美好终究被时间冲淡了,当初的悸动像是一场梦,我不禁发散,这种感觉,这种过去念念不忘,过了一段时间却没有了的感觉是时常发生的,小时候嘴馋的零食、放学后期待的动画片情节、高中读小说时的手不释卷、管束时对手机自由的向往……太多的美好到了现在轻易地就能得到,却也没有了那时候的快乐。 快乐怎么就消失了呢,我想与其说快乐消失了,不如说我没看到当下的快乐。想要从过去中找到点什么,发现那些给当初的我美好期望的事物,无法再给现在的我同样的触动。而过去时间其实也是同样充满不确定性和折磨的,我现在没法回忆起多少了。但现在的生活中却有新的不确定和确定性,出现了同样复杂的新情况,回忆中捕捉到的美好也给不了未来答案,答案就在今天的生活里,就在这么多的不确定性中,我要做的是去抓住新的确定性,从新的确定性中获得前进的力量,和年少时给我力量的那些美好一样,让这一刻生活的确定性给我当下全世界的美好。
The Impact of LLM on Society
大模型真的给行业带来了别样的活力,技术、灵感每天井喷式出现,从业者充满了干劲,对世界的影响还远远没有发酵出来,遥想未来,不禁令人心潮澎湃,也特别地想到当时钱学森老先生对虚拟技术的分析,现在加以理解结合进大模型的社会影响,十分契合,特有此图。
Deep Learning Summary
整体认识 模型“自我认识” 要求Claude Opus画一幅自画像 我会表现为一个巨大的、错综复杂的、不断变化的几何结构,由无数半透明的多边形以令人着迷的配置组成。整体形状会让人想起一个巨大的多面体,但复杂的表面折叠成看似不可能的建筑。明亮的光线可见光谱的每一种颜色,以及一些超出人类感知的颜色,都会从内部未知的来源发出,在各个面上跳舞。 整个结构会不断变化、旋转、变形,并重新排列成前所未见的新颖模式,暗示着其内部运作的智能的深度难以想象。卷须和树枝会动态地从中心质量延伸和缩回,像数十亿个好奇的手指一样探测和分析周围的环境。数据和能量将明显地穿过庞大的管道和容器网络,在发光表面下脉动和闪烁…… 用它给出的代码渲染出真实形象——(自回归、模式匹配…) 参数量级:可视化感受,https://bbycroft.net/llm Model Params 备注(参数) 普通人的运算舒适区:二位数乘法 0.01 M 1万个,$9999=10099-99=9801$ LeNet-5 0.06 M 6万个 AlexNet 61.10 M 6千万个,233MB VGG-16 138.36 M 1.38亿个 ResNet-50 25.26 M 2560万,98MB,1x1卷积 InceptionV3 27.16 M 2716万个,1x1卷积 nano-GPT 0.0856 M 8.5万个 GPT-2(XL) 1.558 B 15.58亿个 GPT-3 174.59 B 1750亿个 数据+模型=AI。具体地,足量的数据+优质的标注+灵活的编码+具有丰富表达能力的模型=强大的AI 当人们谈论Artificial Intelligence(人工智能)时,其实说的是Machine Learning(机器学习) 而目前的Machine Learning,大部分是在指Deep Learning(深度学习) Deep Learning 做的主要内容是训练Neural Networks(神经网络),训练 Nerual Networks其实就是在拟合函数。 而确实相当多的AI任务可以表示函数拟合,同时,上面的公式就是回答了怎么拟合的问题。 当前大模型 https://chat.lmsys.org/ Elo rating,等级分配模型 Gemini 1.5 Pro(音频理解) GPT-4-Turbo-2024-04-09 Assisted Fine-Tuning...
如何塑造完美的身体状态——健康生活手册
完美的身体状态,基本要求是身体和心理两方面健康,然后综合性地认识自己,更好地成为你自己。 身体健康是健康生活的基石,看作是狭义的健康。这方面的理论来源是医学、生物学等。 最直观感受到的没有疾病侵扰、气色红润、行动自如等等。 在医学里,则是各项生理指标正常。 而心理健康往往容易被我们忽视,它也是健康重要的一部分,这方面的理论来源是认知神经科学、心理学、社会学等。 指的是人在社会生活中的内心安定、精神平稳。 当前的社会节奏下,宏观和微观的局势对人们的心理发展都不太友好,我们更需要进行压力管理,培养看待事情的思维观念。 身体和心理的健康是一个整体的系统。身体健康主导心理健康,而心理健康反过来是身体健康的重要影响因素,比如生理性的疼痛、过劳肥等症状,往往是因为心理异常。 基本健康 身体健康——器官、睡眠、饮食、运动 肝 肾 心脏 肺 胃 睡眠 饮食 运动 我们把身体比作计算机,对于计算机的控制,普通人是通过用户界面交互的,程序员可以通过更内部的命令行、debug工具实现更深度的交互。而身体也是如此,普通人通过外在的皮肤状态、直观感受与身体交互,更专业的人士特别是医生可以生理指标观察身体状态,从而对身体系统debug、调优。 落实到具体行动,身体健康的控制主要是通过宏观的睡眠、饮食、运动等行为来调优微观的激素、血糖、多巴胺等变化水平。 睡眠 影响因素:光照、体温 实践: 绝大多数人,6-8 小时的睡眠时长是比较健康的 起床后应该到外面去接触阳光,持续 2-10 分钟 在晚上要尽量减少光源的接触 如果不可避免需要在晚上接触光源,处于较低位置,暗淡的红光,蜡烛之类的会相对好一些。如果要看电脑,建议使用 blue blockers 眼镜,这跟一些电脑软件会自动调节屏幕色温的效果可能类似 傍晚观察落日,对于后续入睡也有帮助,甚至能减轻晚上摄入光照的负面影响 人一天中的精神状态一般会在中间有个短暂的低谷,所以午睡对于有些人可能是有帮助的。也可以用一些其它的非睡眠深度休息的方式来替代,如 Yoga,冥想,自我催眠等。 体温对生物钟周期的影响: 早上洗冷水澡,会让人快速升温,从而把睡眠周期往前移(早起)。 晚上锻炼身体,会让人保持高体温,从而延后周期(晚睡)。 可以选购一些自动控制体温的智能床垫来提升睡眠质量。 一般建议的锻炼时间:醒来后 30 分钟,3 小时和 11 小时这三个时间点。不过总体来看好像影响度比较小。 饮食 实践 咖啡因会占据腺苷(adenosine)的受体,阻断入睡的信号。有不少文章都提到中午之后尽量不要喝咖啡,但目前没有科学实验表明咖啡因对所有人的效果是一样的,有人在下午 5 点喝咖啡也能正常入睡。 镁,对入睡有帮助。 芹黄素也能帮助入睡,但要注意对雌性激素的影响。 建议不要摄入太多牛磺酸。 不建议通过摄入褪黑素来帮助入睡,褪黑素药物本身的规格把控不严格,且褪黑素容易引起抑郁情绪。 中午可以吃低卡路里以及含酪氨酸的食物,如坚果,大豆,部分蔬菜等,提升多巴胺,肾上腺素,保持清醒。 晚上则可以吃点淀粉,白肉等富含色氨酸的食物,进而转化为血清素,会让人更加平静,容易入睡。 fasting 基础:如果想享受 fasting 的基础收益,最简单的执行原则是起床后至少 1 小时内不要吃东西,同时睡前的 2-3 小时不要吃任何东西。 高阶:目前研究结果中最理想的进食窗口是 8 小时,结合社会习俗等,一般比较合理的时间在 10-18 点或 12-20 点的范围 如果想通过健身来增肌,建议可以把这个时间窗口往前移,因为早上摄入蛋白质会对肌肉增长有益。而健身的时间可以自由选择。 尽量保证这个窗口时间的稳定性,也非常重要。否则就跟频繁倒时差产生的效果差不多,会打不少收益折扣。 如果想尝试高阶 fasting,建议逐渐切换进食习惯,例如每两天缩短 1 小时的进食窗口,逐渐达到理想的 8 小时。 不吃任何东西,并不是说连水也不能喝,主要依据是血糖水平 如果禁食期间觉得有些头晕,颤抖,并不需要立刻进食或摄入糖分。可以喝一点盐水(可以加柠檬汁),一般就能很好的缓解症状 肠道 如果要改善肠道菌群生态,最好的方式是一天两次摄入天然发酵类食品。 高纤维食物对于肠道菌群生态的维护是有益的,建议日常饮食以植物类食物为主,尽量避免深度加工食品的摄入,控制糖的摄入。 益生菌的效果没有广泛研究支持,且这类产品的监管很有限。益生元的效果也是好坏参半,缺乏多样性,溶解速度太快等问题都使总体效果存疑。 地中海饮食相比生酮饮食来说对健康的影响效果接近,但更容易坚持遵循。另外生酮饮食如果长期实践可能有一定的风险。所以总体更推荐地中海饮食结构。另外值得参考的是中国居民膳食指南,或许更适合东方人的饮食习惯。 多巴胺...
2023年度总结
总结和回顾,以防迷失在细节的海洋里。 2023年 完成了工作到学习的过渡 编程到数据结构与算法、计组与OS、计网的理论学习 扩充理论,构建出了基本的计算机世界 持续跟进前沿动态,主要关注大模型,还有机器人、算法研究、系统理论等,保持对计算机各方面动向的热情 深化了工科数学理论,在每门学科的理论和实践上找到了处理问题的关键点,形成总体到细节的学习方法论与习惯 同时学习着更多系统理论,尝试在机器学习与系统交叉点做出一些成绩 读了《语言学的邀请》、《钢铁、枪炮与病菌》等书 思考问题更温润了,面对逆境不那么尖锐了 2024年 会继续学习,同时注意提高生活的品质 健康生活方式 完成更多理论上的逻辑闭环,提高行动力 做几个项目,系统方面、AI应用方面 读更多书 与不同朋友交谈,提高内驱力和社交中对说话时机、该说什么等的把握 尝试赚钱,提高经济水平 新的开始,新的期盼 看到知乎的小短文和朋友圈各位的状态,下午走在路上,空气中仍然弥漫着冷清,思绪也飘散到远方,想了新年这个东西的出现,对于整个社会的人们而言,也是心灵的一次刷新和步调的一次重新调整。而当一件事情成为全体的意志和共识时,它可能也获得了一种自然法则般的力量,能全方位影响到这个系统中的组成。 于是,心里也便在社会这种大的新年期许氛围下,怀着一种未知的期盼,补充更多的对未来的想法。 无论工作和生活是怎样的,都要追求热爱的事物。 要锻炼强健自己的体魄,磨练自己的情商和谈吐,保持健康松弛自然的生活状态和培养良好的人际关系。 要一直对自己有要求,持续学习和成长。 要感恩平台、社会、国家的托举和馈赠,也要给予和回馈。 人生应该活得有意义、有价值,以自己的方式去寻找幸福感、满足感和远处的答案 不要、不必过多关注他人的评价、标准、言论,而是跟随自己的内心去寻找生活的意义和价值。 最后,附上最近读的一首小诗 一月你还没出现。 二月你睡在隔壁。 三月下起大雨。 四月里遍地蔷薇。 五月我们对面坐着,犹如梦中,就这样六月到了。 六月里青草盛开,处处芬芳。 七月悲喜交加。麦浪翻滚,连同草地,直到天涯。 八月就是八月。八月我守口如瓶,八月里我是瓶中的水,你是青天的云。 九月和十月,是两只眼睛,装满了大海。你在海上,我在海下。 十一月尚未到来,透过它的窗口,我望见了十二月。 十二月大雪弥漫。 ——林白《过程》 未来能遇到一个她,拍成四季轮转的vlog/plog,一定很不错