首页
学习
活动
专区
工具
TVP
发布

Coding迪斯尼

专栏作者
321
文章
265800
阅读量
96
订阅数
python 实现大语言模型中的概率论:两人轮流出手对决时取胜概率的推导
假设你跟朋友通过打赌投篮来打赌一万块。你们找到一个篮球框,然后约定轮流投篮,谁先投进谁赢。假设你投进的概率是 p,也就是投不进的概率是 1-p,你对手投进的概率是 q,投不进的概率是 1-q,如果由你先投,那么你取胜的概率是多少。
望月从良
2024-01-22
700
python 实现 AIGC 大模型中的概率论:充满数学逼格的生日问题公式推导
在前两节中,我们推导了生日问题的求解算法,但在数学上的最终目标就是希望能针对问题推导出一个简洁漂亮的公式,就像爱因斯坦著名的质能方程 E = MC^2 那样,毕竟数学是以符号逻辑来看待世界本质的语言,所以絮絮叨叨不是数学,一个掷地有声的符号公式才是数学的范儿。
望月从良
2023-12-20
1560
python 实现 AIGC 大模型中的概率论:生日问题的基本推导
在上一节中,我们对生日问题进行了严谨的阐述:假设屋子里面每个人的生日相互独立,而且等可能的出现在一年 365 天中的任何一天,试问我们需要多少人才能让某两个人的生日在同一天的概率超过 50%。
望月从良
2023-12-05
1190
python 实现 AIGC 大语言模型中的概率论:生日相同问题的代码场景模拟
对深度学习本质而言,它实际上就是应用复杂的数学模型对输入数据进行建模,最后使用训练好的模型来预测或生成新的数据,因此深度学习的技术本质其实就是数学。随着大语言模型的发展,人工智能的数学本质被进一步封装,从业者要不直接调用给定模型处理给定数据,有点“技术内涵”的就是在给定模型基础上进行“微调”,我看现在很多 国内的AIGC 创业团队,几乎没有多少人有能力对开源的大模型进行修改或创造的能力。主要原因在于大模型的训练需要天量的数据和算力外,还在于其在数学理论基础上有很高的要求。我们很多人因此只能局限于AIGC 的“术”,也就是拿一个开源模型去适配特定的商业需求或场景,对于AIGC 的”道“而言,就只能讳莫如深,因为其要求的数学门槛太高。
望月从良
2023-12-04
1280
区块链的系统探索之路:椭圆曲线之有限域
有一种有效的学习方法叫费曼学习法。它的做法是把你学到的东西系统性的讲述出来,如果别人通过你的描述也能理解其中内容,这说明你对所学知识有了一定程度的掌握。目前我正在系统性的研究区块链技术,因此想借助费曼学习法,把我掌握的信息系统性的输出,一来能帮助自己更好的理解消化知识,另一方面也希望能帮助对这方面有兴趣的同学。当然区块链的技术信息汗牛充栋,相比与其他资料,我觉得我的优势在于能体会初学者的难处,因为我自己就是初学者。
望月从良
2023-02-26
3970
己动手写编译器:GoLex程序的基本情况介绍
本节我们的目的是,在给定正则表达式后,将其转换为非确定性有限状态自动机数据结构,后者会进一步生成一个跳转表,从而实现字符串匹配的功能。我们首先看输入,输入是一个后缀名为lex的文件,基本内容如下:
望月从良
2022-12-02
3790
能动手就别逼逼:词法解析完全实现
以下几个视频展示了词法解析代码的完整实现。目前我们采用的方法属于“突发炼钢”,也就是我们只是简单的读入一系列字符,然后进行即时分析,在后面我们将采用更加系统化的方法,那就是使用有限状态自动机来完成词法
望月从良
2022-03-28
2080
用go做个编译器:语法树和属性计算(视频)
http://mpvideo.qpic.cn/0b2epmaaaaaa24ad4vb4evrfa66dab5qaaaa.f10002.mp4?dis_k=290407cedd17beab08342e6
望月从良
2022-03-28
3350
尝试用GO写python编译器:创建互动式命令号窗口REPL
上一节完成的词法解析器存在一些明显问题,例如在识别数字时,面对字符串“123abc”,它会识别为两者情况,分别为NUMBER:123,然后是IDENTIFIER:anc,实际上这样的字符串应该被认为是语法错误。另外我们还有一些”连号“操作符没有处理,例如“==, !=, — ,++”等。
望月从良
2021-12-31
4130
试用GO开发python编译器:实现词法解析
编译器由于涉及到编译原理,了解计算机科学的同学就能感触到,编译原理是较为抽象,无论从原理还是从实践上都是比较难把握的对象。在接触理论性较强,难度较大的问题时,最好的办法是从最简单的情况入手,先从感性上获得认知,为后面的理性认知打下基础,因此我们先从编译原理算法的基础入手,首先掌握词法解析。
望月从良
2021-12-31
5000
试用GO开发pyhton编译器:字节码基础
掌握一门编程语言最好的办法或许是将它的编译器设计出来。毫无疑问那些开发Python编译器的人应该是世界上对Python了解最深刻的人群之一。我用python开发过不少程序,但是每次反思或复盘的时候总是感觉对Python的认知还不到位,由此也看了很多讲Python的书,但看的时候感觉好像懂了,但过了一段时间后又忘了,也就是说单纯看书很难将某一项技术完全内化。当然技能的掌握必然要从实践中来,但是我发现在使用Python开发程序时,我总是使用它的一部分功能就够了,或者说居于我的思维模式限制,我在使用python开发时总是落入一个套路,这使得我只能掌握python技术的冰山一角,就如同井底之蛙一样只了解一小块内容,为了能够打破认知局限,让我自己能更全面的对python的设计原理有更深入的了解,我打算尝试做一个能运行的python编译器。
望月从良
2021-12-20
3230
python高级算法:布隆过滤器
📷 📷 📷 📷 📷 📷 📷 📷 📷 📷 📷
望月从良
2021-12-13
3290
内核级python:编译器的词法和语法解析基本原理
python在收到代码内容后,首先要启动两个流程,分别为词法解析和语法解析。看过我编译原理课程的同学对这两个流程应该不陌生。词法解析其实就是把代码里面不同的元素分别归类,例如234,1.35,1e3等这类字符串统一用一个标志或数字来表示,通常它们的标志为NUMBER,对应字符串pi, age等这类变量名统一用标志来表示,例如使用NAME,于是整篇代码会一下子浓缩成一系列标志的排列,例如表达式 a = 100 + 10 就变成了 NAME = NUMBER + NUMBER。
望月从良
2021-11-15
5120
内核级python:调试Python编译器源码
python编译器在执行时,给它指定要执行的源码文件,或者说直接输入源码字符串就可以驱动脚本的执行流程,其基本框架如下:
望月从良
2021-10-21
8130
内核级pyhon:编译python编译器和语法修改
现在一涉及到编程语言几乎就离不开python,甚至这门语言已经成了割韭菜的手段,各种1元学习python的引流课程层出不穷,从这些现象可以体会到python语法设计之成功。它基本上实现了其创作者的初衷:简单易懂,它的优美就如同白居易的诗:“老妪能懂”。
望月从良
2021-10-11
6700
打爆李世石第一步:使用神经网络设计人工智能围棋机器人
上一节,我们使用基于蒙特卡洛树搜索的机器人来自我对弈,同时我们把机器人落子方式和落子时的棋盘编码记录下来,本节我们就使用上一节数据来训练神经网络,让网络学会如何在给定棋盘下进行精确落子。
望月从良
2019-04-28
6590
深度学习:透过神经网络的内在灵活与柏拉图的哲学理念
以神经网络为基础的深度学习,它最大的作用就是让计算机能求解那些没有明确规则或定义的问题,例如你根本无法制定出一系列明确的规则或步骤去让计算机识别一幅图像中的内容是什么,人工智能最大的强项就是让计算机能处理那些模糊不清,几乎无法用明确的规则或步骤来描述的问题。 一个受过大量数据训练的神经网络,给定领域内的图像表示什么内容,此时它就像一个黑盒子,把数据从一端输入,然后结果自动从另一端输出,你根本不知道他内部的运行机制。如果我们只在乎得到正确的结果,那么无论神经网络的内部机理如何复杂,我们都无需关心。如果我们想知
望月从良
2018-07-19
5220
神经网络实战:快速构建一个基于神经网络的手写数字识别系统
没吃过猪肉,但得看过猪跑。虽然我们暂时对深度学习及神经网路的基本原理知之甚少,但获得深刻理性认识必须建立在足够的感性认知之上,就像掌握游泳技巧的前提是把自己泡到水里。因此我们在研究分析神经网络的技术原理时,先用代码构建一个实用的智能系统,通过运行后看结果的方式,我们就能快速建立起对深度学习相关技术的感知,这为我们后续建立扎实的理论体系奠定坚实的基础。 神经网络系统的开发一般都使用python语言,我们也不例外,我们的手写数字识别系统将使用python来开发,首先要做的是在机器上安装开发环境,也就是Anaco
望月从良
2018-07-19
4820
使用矩阵运算驱动神经网络数据加工链
对于学过线性代数的人来说,矩阵运算绝对算得上是一场噩梦。特别是做矩阵乘法时,两个大方块,每个方块里面有好多数字,你需要把一个方块中一行里的所有数字跟另一个方块里面的所有数字做乘法,然后再求和,头昏脑涨的算了半天才得到新矩阵的一个数值,忙活了半天,耗费了大量精力后,你发现居然算错了,只能再来一遍,那时候我想你恨不得一把火把代数课本付之一炬。 上一节,我们手动计算了一个只有两层,每层只有两个节点的神经网络,那时候的手动计算已经让我们精疲力尽了,试想一下任何能在现实中发挥实用效果的神经网络,例如用于人脸识别的网络
望月从良
2018-07-19
4980
用Python从零开始设计数字图片识别神经网络--搭建基本架构
从本节开始,我们用python把前几节讲解的神经网络原理实现出来。在最开始时,我们直接调用Kera框架,快速的构建一个能识别数字图片的神经网络,从本节开始,我们自己用代码将整个神经网络重新实现一遍,只有我们能重新制造一个“轮胎”,我们才能说我们真正理解的“轮胎”的内在原理。 我们代码开发也保持着由简单到复杂的原则,就像上楼梯,一步一步的走,直到最后走到“高处不胜寒”的楼顶。一开始,我们先把神经网络的基本架构给搭建出来。我们的代码要导出三个接口,分别完成以下功能: 1,初始化initialisation,设置
望月从良
2018-07-19
6640
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档