首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python 斗鱼爬虫

看了许久的斗鱼直播,突然心血来潮,想用爬虫对斗鱼所有直播间的信息抓取 一开始,我简单对斗鱼代码进行了分析,直观地认为所有直播间都在html文件里。...= data_url + '2_' + str(i) + '/1' r = requests.get(start_url,headers).text 由于我们访问的页面是json格式,所以需要先处理成python...对象便于后续操作 #页面是就json格式 有json库方法转换成python字典 json_obj = simplejson.loads(r) #我们已经将其转换成字典,其中的pgcnt键对应的值是页码我们获取它...1.txt', 'a+',encoding='utf-8') as f: f.write(str(lst)) 如果不满意排序,请诸位自行采用格式化输出 如:.format() 我们对斗鱼直播信息的提取就算完了...纵观整篇代码,都非常简单,没有定义函数,没有定义类,就直接十来行代码就完事了 当然一是斗鱼没有反爬虫,我们获取的信息也都比较简单,出发点也只是心血来潮。

1.8K50
您找到你想要的搜索结果了吗?
是的
没有找到

斗鱼基于 kubernetes 的深度学习实践

说明:本文根据斗鱼TV资深运维晏威老师在 DevOps 线上峰会的分享整理而成。 作者简介 晏威,斗鱼 TV 资深运维,主要是负责斗鱼的所有应用的容器化落地。...一、深度学习在斗鱼的应用场景 我们首先说一下深度学习在斗鱼的应用场景。斗鱼在深度学习这一块,有两个部门在做这个事,基本上就是分为两大场景,一个是大数据场景,一个是视觉场景。...再就是智能弹幕,斗鱼是一家直播平台,我们的主要的形式就是做视频直播,那么在这个时候其实一大特色就是发弹幕,大家平时看直播内容是什么不重要,我就是来看弹幕的。...事实上在这里我说到的就是相对来说比较主流的场景,这是斗鱼在深度学习领域基本的介绍,这一块对我们大概的业务场景可能有了一个基本的认识。...因为斗鱼最核心的业务就是视频这一块。 ?

1.3K20

斗鱼最后的独立财报

在腾讯撮合斗鱼虎牙合并有实质性进展的前提下,这可能也是斗鱼和虎牙在两家合并之前的最后一份独立财报。...上市以后,变现就成为斗鱼最关心的成长能力,在历经一季度的线上流量爆发后,二季度斗鱼的表现到底如何?...再把目光聚焦在斗鱼上市后的第一份财报上,2019 Q2,斗鱼营收同比增速达到133.2%,环比增速达25.8%。 仅仅一年,斗鱼的营收增速就大幅度放缓,表现出疲态,问题到底出在哪?...虽说直播行业用户增速在放缓,但这不是斗鱼增长没有起色的理由,而且它的老对手虎牙MAU一直处于增长状态,在今年二季度还超过了斗鱼。 唯一合理的理由或许还是斗鱼本身对用户吸引力的不足。...而且此前快手公布的游戏直播月活数据显示远大于斗鱼和虎牙。 必须死磕变现 整体来看,斗鱼这份新财报没什么亮点,而且暴露出斗鱼目前慢下来的增长现状。

40100

斗鱼password加密参数调试生成案例

斗鱼登陆输入账号密码,拖动滑块后会向登陆接口发起请求。 通过抓包发现请求体 Formdata 中的 password 进行了加密。 本案例演示如何通过控制台调试找到加密js方法。...最后使用python来模拟生成,文末附有代码。...斗鱼password加密参数js调试案例 1.确定接口 2.断点调试 3.模拟生成 4.Python调用 1.确定接口 2.断点调试 点击控制台的 initiator ,可查看当前的请求是哪一行触发...4.Python调用 调用CryptoJS的md5模块时,加密的结果是一个数组,而不是我们常见的MD5值。 在 js中可以使用 toSting来直接转换成字符串。...我们用python实现的话,把这段函数拿出来用就行了 整体调用代码如下: import execjs script = ''' var CryptoJS = CryptoJS || function

55220

案例 | 看斗鱼TV如何玩转大数据

自我介绍 我是吴瑞诚,现在负责斗鱼数据平台部,今天给大家分享一下斗鱼大数据这块的玩法。...这是一个典型的斗鱼直播间,是斗鱼最主要的内容形态:左边是视频区,上面飘过的文字就是弹(dàn)幕,直播网站上用户和主播互动的最主要形式。...主要内容分为四方面: 1.斗鱼大数据平台的整体架构; 2.斗鱼数据仓库 3.斗鱼个性推荐系统 4.斗鱼风控系统 1、斗鱼大数据平台整体架构 先来看看斗鱼大数据平台的整体架构,上一张镇楼的图: ?...后续将支持Python、R语言的建模,支持用户Notebook的提交和调度。...那斗鱼面对的黑产风险有: ? 这是前天我从淘宝上搜索斗鱼tv时的结果截图,可以作为现在斗鱼面对黑产形势的一个典型缩影。

1.6K60

游戏直播斗鱼、虎牙们的尴尬处境

目前,斗鱼已经连续四季度实现同比扭亏转盈,多元化运营取得显著的成效。但是对于斗鱼而言,有关游戏直播的竞争远未分出胜负,斗鱼所面对的考验也会继续存在。...电竞赛事转播对斗鱼的广告收入有着不可忽视的重要性,据斗鱼2019年第四季度财报显示,广告收入为1.704亿元,较2018年同期1.321亿元增长29.0%,这与斗鱼在2019年高频率的赛事转播有着密切的关系...由此可见,B站大权独揽可能对斗鱼、虎牙来说是不小的打击,会直接影响到斗鱼、虎牙接下来的广告收入。...斗鱼主播流失从2017-2019年间斗鱼平台公布的“斗鱼年度十大巅峰主播”榜单可以看出明显变化,曾经的斗鱼“一哥”卢本伟和“一姐”陈一发相继被封杀,再到去年冯提莫、张大仙、神超、青蛙等知名主播跳槽。...虽然1.6亿的月活跃用户为斗鱼整体盈利打下基础,但是Q4季度的增速却只有8%,连续两季度呈现增速下滑趋势。新用户是平台消费增长的动力,斗鱼平台的用户增长速度变慢,使斗鱼的吸金能力面临考验。

40820

一个能“跳舞”的斗鱼直播间,上线了

近期斗鱼直播间的一场活动尝试了新的玩法,我们来看看有什么亮点: 「亮点一」直播间一键点击,即刻“跳进”虚拟世界!...直播间互动1.0的玩法兴起与体验痛点 在斗鱼本次直播间“云舞会”活动之前,市场上已经出现弹幕互动游戏的直播间形式,直播间观众通过“加入游戏”、“上下左右”、”升级“等特定弹幕指令,控制主播电脑上的小人做出对应的动作...虚拟互动直播2.0玩法亮点 真·3D互动直播间 此次上线的斗鱼云舞会互动2.0版本提供了更加丰富的虚拟直播间玩法,可谓是“真·3D互动直播间”。...与1.0版本相比,斗鱼云舞会互动2.0版本突破了传统直播互动游戏的瓶颈,打破次元壁,成功实现了在游戏体验、内容质量和收益模式上的全面升级。 用户自由操控动作,任意控制视角,画面千人千面。...斗鱼云舞会互动2.0版本中多种多样的丰富交互内容给予玩家更丰富更自由的体验。 直播打赏、局内道具购买、广告收入、内容授权费用和直播流量等收益增长点,进一步促进了虚拟直播的良性循环。

1.5K10

斗鱼直播云原生实践之注册中心篇

孔令圳,斗鱼首席架构师,全面负责斗鱼全站技术架构体系规划和建设,10 余年中大型互联网产品架构经验,擅长高并发、高可用场景下的架构与方案设计。...于竞,斗鱼技术保障运维专家,负责斗鱼高可用基础架构建设,擅长注册中心、监控体系等技术领域,同时也是斗鱼多活基础保障负责人。...随着近年直播市场的火热,斗鱼直播平台作为业内口碑和体验俱佳的互联网公司,用户量也出现井喷式增长。...斗鱼老架构   图一 斗鱼老架构 为了给用户带来更好的可用性体验,斗鱼急需解决单一数据中心的问题,将老架构从单数据中心升级到多数据中心。...因此斗鱼直播下一个痛点就是提升 etcd 的可用性,期望实现 etcd 跨城容灾、异地容灾能力。

1.1K60

.NET斗鱼直播弹幕客户端(上)

斗鱼TV就是一款非常流行的直播平台,弹幕更是非常火爆。看到有不少主播接入 弹幕语音播报器、 弹幕点歌等模块,这都需要首先连接斗鱼弹幕。 经常看到其它编程语言的开发者,分享了他们斗鱼弹幕客户端的代码。....本文将包含以下内容: 我将使用斗鱼TV官方公开的弹幕PDF文档,使用 Socket/ TcpClient连续斗鱼弹幕; 分析如何利用 .NET强大的 ValueTask特性,在保持代码简洁的同时,轻松享受高性能异步代码的快乐...然后将使用 ReactiveExtensions( RX),演示如何将一系列复杂的弹幕接入操作,就像写 HelloWorld一般容易; 用我自制的“准游戏引擎” FlysEngine,只需少量代码,即可将斗鱼...斗鱼直播API 现在网上可以轻松找到 斗鱼弹幕服务器第三方接入协议v1.6.2.pdf(网上搜索该关键字即可找到)。

93520
领券