首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

不懂代码也爬取数据?试试这几个工具

题图:by watercolor.illustrations from Instagram 前天,有个同学加我微信来咨询: “猴哥,想抓取近期 5000 条新闻数据,但我是文科生,不会写代码,请问该怎么办...Excel 是一个强大的工具,抓取数据就是它的功能之一。以耳机作为关键字,抓取京东的商品列表。 ? ? 等待几秒后,Excel 会将页面上所有的文字信息抓取到表格。...虽然具有前面所述的有点,但缺点也有,无法多线程采集数据,出现浏览器卡顿也在所难免。 网站:https://www.gooseeker.com/ 5.Scrapinghub ?...地址:https://scrapinghub.com/ 6.WebScraper ? WebScraper 是一款优秀国外的浏览器插件。同样也是一款适合新手抓取数据的可视化工具。...地址:https://webscraper.io/ 如果你觉得文章不错的话,分享、收藏、在看是对猴哥的最大支持,是猴哥持续创作的动力。

4.2K41

线程和进程基础——翻译文

想到的最好的方式(不涉及实时系统的设计)就是把线程和进程想象成一些实际的情形。 进程就像是一个房子 让我们用一个常规的、日常的物品来模拟进程和线程——房子。...如果你这样看待,那么你就会发现房子不会自己主动去做任何事——它只是一个被动的物体。这就是进程实际上担任的角色。我们待会儿会讨论到。...在我们的房子比喻,这就像有人通过墙壁闯进厕所,无视了门和锁的约定。 优先级 如果浴室现在锁着,有许多人在等着使用它,那该怎么做?显然,所有的人都坐在外面,等着在浴室里的人出去。...在厨房里,你可能不想让每个人都在里面。事实上,你可能想要限制你的厨房里所能容纳的人数(太多的厨师,等等)。 假设你不想同时拥有两个以上的人。你能用互斥体来实现?这不是我们定义的。为什么不呢?...我们能用信号量作为互斥量? 是的。事实上,在某些操作系统,这正是他们所做的-他们没有互斥锁,只有信号量!那么,为什么要麻烦互斥锁呢? 要回答这个问题,看看你的洗手间。

61050
您找到你想要的搜索结果了吗?
是的
没有找到

2018春招总结

,由于当时在火车上面,三个电话都没有接到,不过3月6日早上大概9点多还是给我打来了电话,二面大概持续了半个多小时,经过大概一段时间等待后,也就是3月16日接到三面电话,不过最终也是倒在了这。...想着tcp怎么也有七层了,傻了,就回答不知道)      怎么处理LIstView过程的Item复用,具体到实现原理方面说嘛?     ...,最后一轮HR面试,在两轮现场面试完之后,还以为凉了,结果又加了一轮总监面(可能是乌鸦嘴问了面试官会不会有加面),面完之后面试官直接告诉我下午有hr面试,接下来是面经: 一面(4-11)(70分钟...目前是等待offer阶段,下面是面经: 一面(4-21)(30分钟)   自我介绍      ActivityonCreate可不可以获取view的高度      讲一下为什么不可以获取view...介绍一下mvp架构      内存抖动什么原因造成,怎么解决      子线程和主线程有哪些通信方式      handler的looper机制      了解的锁机制      线程池有哪些

1.1K50

算法转开发&测开,拿了四个offer(下)

实现多线程?...7、介绍一下你了解的http协议以及http的请求方法 8、get和post的区别 9、python和C++、Java的区别 10、介绍一下python线程,能够多线程?...5、正式批一面 1、自我介绍 2、介绍一些你的自动化测试项目 3、介绍一下selenium、原理、好处 4、selenium中有时候要等待页面渲染,有几种等待方法 5、对pytest有什么了解,为什么他能做自动化测试...6、线程,进程,协程的区别、作用,有想过为什么这样设计? 7、死锁的特点,如何破解死锁 8、打开一个网页的流程,涉及到的协议 9、DNS协议详细说下 10、数据库索引有了解?...嘤嘤嘤 HR面结束后没多久,HR就告诉我说面试通过了,第三天后HR发来了意向书 这是的第4个offer,也是第一个大厂offer,在上一篇文章也提到过:算法转开发&测开,拿了四个offer(上)

64621

Java多线程编程-(8)-两种常用的线程计数器CountDownLatch和循环屏障CyclicBarrier

举了例子: 我们知道的集齐七颗龙珠就可以召唤神龙,那我们就一起召唤一下,下边需要派7个人(7个线程)去分别去找这7颗不同的龙珠,每个人找到之后回来告诉我还需要等待的龙珠个数减1个,那么当全部的人都找到龙珠之后...当计数器值到达0时,它表示所有的线程已经完成了任务,然后在闭锁上等待线程就可以恢复执行任务。 ? CountDownLatch.java类定义的构造函数: ?...二、CountDownLatch在实时系统的使用场景 让我们尝试罗列出在java实时系统CountDownLatch都有哪些使用场景。罗列的都是所能想到的。...如果我们创建一个初始计数为1的CountDownLatch,并让所有线程都在这个锁上等待,那么我们可以很轻松地完成测试。...CyclicBarrier强调的是n个线程,大家相互等待,只要有一个没完成,所有人都得等着。 还接着上述“集齐七颗龙珠!召唤神龙”的故事。

1.4K10

是一个线程(修订版)

这里有人在登录系统,等这么长时间?” “放心,你没听说过人间一天,CPU一年?我们这里是用纳秒、毫秒计时的,人间等待一秒,相当于我们好几天呢,来得及。” 干脆睡一会吧。...在等待的时候,听见有人小声议论: “听说了吗,最近有个线程被kill掉了。” “为啥啊?” “这家伙赖在CPU车间不走,把CPU利用率一直搞成100%,后来就被kill掉了。”...“不明白为什么很多线程执行完任务就死了,为什么咱们还活着?” “你还不知道?长生不老是我们的特权!我们这里有个正式的名称,叫作线程池!”...他告诉我:“有些包裹太变态了,竟然查看一年的订单数据,简直把累死了。” 说:“拉倒吧你,你那是纯数据,你把数据传给我以后,还得组装成HTML,工作量不知道比你大多少倍。”...看到屋子里的东西一个个的不见了,等待车间、就绪车间,甚至CPU车间都慢慢地消失了。身边的线程兄弟也越来越少,最后只剩自己了。 在空旷的原野上大喊:“还有人吗?” 无人应答。

30420

技术公司与非技术公司的区别,太真实了…

来了这家公司发现这个部门不是想象那么简单。不再是一个简简单单的技术公司,以support为主。不定时做CR开发,与小的改动项目。部门大概50人,开发不到10个人。就是这几位开发的一员。...另外一个同事告诉我需要做什么。口头说,需要做什么等等。做好之后进行测试,之后就没有人再联系以为项目结束了 或者说那没有问题。就找我的负责人联系下个项目。大家以为这件事结束了?...还有些隐藏需求点就是项目负责人告诉我 跟其他模块功能保持一致 看看其他页面咋做的 。这是听过最多的一句话。项目功能点,有很多需求文档没有包含,加上开发对这套系统不是很熟悉。这个系统延期了。...D项目。虽然这个项目是你临时抓进来救火的 但是问题也不少。(无语,项目负责人有些东西说不清,一句话把问题归于开发身上。负责人:说的跟开发做的不一样。两个开发都可能理解都不对?...领导昨日发信息告诉我,有很多人反馈交付质量有问题,过完年这四个项目都总结过两个没问题。现在做的样式位置加一起不到十个问题。还有一个项目也很好。 昨日一天都在想这个问题,为什么会有很多人反馈。

36130

技术公司与非技术公司的区别,太真实了…

来了这家公司发现这个部门不是想象那么简单。不再是一个简简单单的技术公司,以support为主。不定时做CR开发,与小的改动项目。部门大概50人,开发不到10个人。就是这几位开发的一员。...另外一个同事告诉我需要做什么。口头说,需要做什么等等。做好之后进行测试,之后就没有人再联系以为项目结束了 或者说那没有问题。就找我的负责人联系下个项目。大家以为这件事结束了?...还有些隐藏需求点就是项目负责人告诉我 跟其他模块功能保持一致 看看其他页面咋做的 。这是听过最多的一句话。项目功能点,有很多需求文档没有包含,加上开发对这套系统不是很熟悉。这个系统延期了。...D项目。虽然这个项目是你临时抓进来救火的 但是问题也不少。(无语,项目负责人有些东西说不清,一句话把问题归于开发身上。负责人:说的跟开发做的不一样。两个开发都可能理解都不对?...领导昨日发信息告诉我,有很多人反馈交付质量有问题,过完年这四个项目都总结过两个没问题。现在做的样式位置加一起不到十个问题。还有一个项目也很好。 昨日一天都在想这个问题,为什么会有很多人反馈。

32230

App冷启动,你还要怎样?

而且,所有请求都在一个单线程,不会阻塞应用程序的主线程(UI Thread),同一时间只处理一个请求。 看到IntentService的介绍,我们就想,可以不可以把耗时的初始化都丢到这里来呢?...是的,我们无法确定什么时候确定什么时候初始化完,所以这些问题我们始终都会遇到,比如我在项目中使用的时候就出现过,有一些第三方库就是必须在application创建的时候进行初始化,进入到app才可以使用的情况...(ps:其实这样的第三方库真的是脑残,为什么非要在application初始化呢?...你的库初始化好了,的app的用户体验就下降了)。那么,还有其他方法去解决初始化时间的问题?那肯定有啦,刚刚不是说了是方法一?现在就开始介绍方法二了。 方法二:简单粗暴法 何为简单粗暴法呢?...可以实践一下,这个也很简单的,有人会说,这个优化的时间有多少啊?

1.1K20

让程序员技术主管项目经理最可怕的事情是什么?

不打算写这方面的内容,而且这些在其他帖子已经被详细分析和描述过了。 写这篇文章的目的是列举在团队构建软件的本质是什么。如果你觉得有遗漏的地方,请告诉我。...代码审查时的队友们特别混蛋,因为会对进行人身攻击 其他人延迟发布在工作中所需要的功能 其他工程师构建他们的功能或组件太慢 大量时间花在了等待上 有不赞同的产品决定 刚刚告诉过要做什么又来说一遍...没有自主权 没有人尊重的意见 玩命地完成工作,然后有人告诉我要重做 产品经理改变了的要求,因为对批评过于强烈或因为其他人的反馈反应 成为技术主管有哪些可怕的地方?...,但我没有能力或权力说服他们改变主意 实施马虎或实施忽略了现有的最佳实践 出现了计划外的事情:打破假设的迟到的功能需求 真的觉得最后期限和依赖性于我而言压力山大,以致于当我下班回家了以后依然难以放松...他们不写代码;他们唯一影响人的途径就是用嘴巴说话。所以我拉进了一堆无用的会议。一堆浪费时间的会议。 少写代码;感觉失去了的优势。有时很难看到我做了什么贡献。必须改变的重心。

51010

虚度大一一年又如何,双非本科大三学弟连斩腾讯字节

然后开始疯狂地查缺补漏,去年寒假在家时只有除夕和大年初一没有学习,其它时间每天都在学习、做项目、刷题,有时候做梦都能梦到自己在和面试官对话哈哈。...上次一面为什么挂?说说上次面试没回答上来的问题 10000个数,小顶堆思路 找前 100 个和找前 1000 个 的时间复杂度有什么区别? 系统死循环如何定位? 如果是项目运行呢?...进程、线程、协程? TCP三次握手、四次挥手? 介绍一下简历的项目 中途打断,为什么要用定时同步任务? 为什么想到用LRU设计商品推荐? LRU有什么缺点? 有了解过LFU? 点赞是如何设计的?...进程被分配哪些资源 线程同步机制 线程共享哪些资源 线程独占哪些资源 程序计数器的作用 进程和线程的调度区别 进程常见的状态 阻塞态直接到运行态 就绪态到运行态的条件(上一个进程时间片用完,本进程被系统调度...想说的是,可能你没有别人学校好,但你就不去尝试了吗?这条路是很难,可再难,也有人上岸了啊。 NBA已故球星科比的名言就很好:总有人要赢得,为什么不能是呢? 对啊,总有人要上岸的,为什么不能是你呢?

91120

五分钟重温C#委托,匿名方法,Lambda,泛型委托,表达式树

不打算写这方面的内容,而且这些在其他帖子已经被详细分析和描述过了。 写这篇文章的目的是列举在团队构建软件的本质是什么。如果你觉得有遗漏的地方,请告诉我。...代码审查时的队友们特别混蛋,因为会对进行人身攻击 其他人延迟发布在工作中所需要的功能 其他工程师构建他们的功能或组件太慢 大量时间花在了等待上 有不赞同的产品决定 刚刚告诉过要做什么又来说一遍...没有自主权 没有人尊重的意见 玩命地完成工作,然后有人告诉我要重做 产品经理改变了的要求,因为对批评过于强烈或因为其他人的反馈反应 成为技术主管有哪些可怕的地方?...,但我没有能力或权力说服他们改变主意 实施马虎或实施忽略了现有的最佳实践 出现了计划外的事情:打破假设的迟到的功能需求 真的觉得最后期限和依赖性于我而言压力山大,以致于当我下班回家了以后依然难以放松...他们不写代码;他们唯一影响人的途径就是用嘴巴说话。所以我拉进了一堆无用的会议。一堆浪费时间的会议。 少写代码;感觉失去了的优势。有时很难看到我做了什么贡献。必须改变的重心。

70620

张亚勤:人工智能比移动互联市场大十倍

《总裁在线》节目在专访微软亚太研发集团主席张亚勤时,他直言过去几年,微软确实在移动互联网领域错过了很多机会,有些项目虽然开展的比较早,但是没有坚持,失去了机会。...有人拿大数据去忽悠 去骗钱 张亚勤:“你问我爱你有多深,大数据最懂你的心” 近年来,“大数据”风靡一时,各行各业都在探讨“大数据”思维与技术在本行业的应用。...凤凰财经:你能不能不要用科学家的那个语言,用非常通俗的一个案例告诉我,它能不能帮助我们做到什么?...就根据我各种数据,数据本身告诉我该怎么做。...喜欢那种体验,那我想这都是每个人自己选择的方式,数据和技术是为人服务的,人不应该被它所奴隶绑架。

42760

App冷启动,你还要怎样?

而且,所有请求都在一个单线程,不会阻塞应用程序的主线程(UI Thread),同一时间只处理一个请求。 看到IntentService的介绍,我们就想,可以不可以把耗时的初始化都丢到这里来呢?...是的,我们无法确定什么时候确定什么时候初始化完,所以这些问题我们始终都会遇到,比如我在项目中使用的时候就出现过,有一些第三方库就是必须在application创建的时候进行初始化,进入到app才可以使用的情况...(ps:其实这样的第三方库真的是脑残,为什么非要在application初始化呢?...你的库初始化好了,的app的用户体验就下降了)。那么,还有其他方法去解决初始化时间的问题?那肯定有啦,刚刚不是说了是方法一?现在就开始介绍方法二了。 方法二:简单粗暴法 何为简单粗暴法呢?...可以实践一下,这个也很简单的,有人会说,这个优化的时间有多少啊?

1.7K00

敏捷团队需要考虑的六个行为

在许多组织,寻求帮助甚至是不正确的。然而,能够请求帮助的人是我们想为敏捷团队雇佣的人。 为什么寻求帮助如此重要?我们都对这个项目有所了解,但没有人知道我们需要知道的一切。...你可以问的一系列问题之一是:“告诉我你喜欢怎样工作。”回想一下你做过的最后一个功能。在你要求反馈之前,你有没有试着把事情做完?”等待答案。现在,问,“为什么?”...我们希望人们即使在不完善的条件下也完成这项工作。 你会知道如果你有这样的适应性强的人,你会得到以下的答案:“告诉我一个你没有你喜欢的项目条件的时候。”你做了什么?”...并不是建议人们做一些他们不知道如何完成的事情——例如,一个开发人员不应该成为一个市场营销人员(除非开发人员愿意)。建议,如果有人对数据库非常熟悉,那么她也应该尝试在GUI做一些工作。...你曾经担任过那个职位?如果候选人没有说“是”,你将不得不以不同的方式问这个问题。例如,在以下方面取得了一些成功:“告诉我你做了一件你认为不在你的工作描述的事情。”你做了什么?”

33620

,一个靠GitHub打赏谋生的码农,年入十万美元

接下来,想分享一些过程的经验,希望帮到也想从事类似开发工作的人们。...通过 GitHub 打赏赚钱的三个阶段 阶段 1:热心人士 最初,GitHub Sponsors 是一个让忠实粉丝能够资助他们支持项目的平台。...另外一位朋友 Nuno Maduro 最近在他的 Pest 项目中复制了这一方法,同样取得了成功: ? 这种方法很棒,但是需要不断地提供新的想法,所有的这些都将成为必须持续进行的项目。...有的一切都投入到工作,这点没有捷径。 你可以发现,在一个开源项目中全职工作了整整一年才看到收入。得到人们赞助的工作必须是高质量的,而且始终是排在第一位的。...做的不是什么神圣的工作,那些软件是企业拿来赚钱的,他们从中牟利,所以我从中赚钱也是 OK 的。 网友:这么做

1.3K20

惊艳!Facebook未来十年愿景!

那些生活的每一个惊喜。那些天涯海角的眷念。 “四天前,四岁的女儿第一次自己骑上了一辆小自行车。那一刻,想让她的爷爷奶奶舅舅舅妈都看到,希望所有人都能被传送到那里,分享的喜悦。”...而下面这个则是简易的人脸识别系统,自动追踪观测者的脸…… 更离谱的是声音。下面这个 McGurk 效应告诉我们,连声音都是经过了我们大脑修正了的。...这就让我们回到了虚拟现实这个话题上,以及这项技术为什么和之前所有的技术有那么大不同 - VR 是让你真实地去体验一个虚拟的世界,而上面这些例子告诉我们的就是,一个体验是否真实,完全由你的感官系统决定。...比如,在新月湾的某个演示,当你站在某个摩天大楼楼顶边缘时,没有人敢往前踏一步。而如果你看的是大屏幕上的视频时,无论多高,没有人需要说要找个扶手。...我们希望在虚拟世界中看到自己的手,更希望和虚拟世界互动,摸到虚拟世界里的物品。而现在的游戏手柄,显然没有办法提供这种体验。但虚拟世界的手和现实世界的手的使用差距,并没有多数人想的那么遥远。

1.1K100

阿里腾讯百度头条美团iOS 面试大纲,5万+的工作在等你

viewController 如何扩大view的响应范围 微信分享大图如何实现,从进程的角度 进程间的通信方式,并举例 两个进程分别指向同一个地址空间并初始化一个值,分别输出是什么 算法,判断一个字符串是否所有的大写字母都在小写字母前面...主要问了项目的一些东西 和给一些场景问我如何实现 自我介绍 介绍一些项目难点 主线程是相对于什么而言的 一张图片的内存占用大小是由什么决定的 索引的作用 索引的优缺点 在数组找最小的k个数 淘宝下拉加载更多如何优化...对象 copy和strong的区别 weak如何实现自动赋nil 为什么不可变对象要用copy assing可以使用在对象 头条二面 Pod update和pod install的区别 layoutIfNeeded...腾讯一面 介绍项目的网络层 为什么要使用HTTP???...腾讯二面 OC对象的结构 多态 Ping是什么协议 知道MTU TCP头部多长,IP呢 线程同步的方式 iOS中有哪些锁 MVC和MVVM的区别 了解哪些设计模式 存一个通讯录,包括增删改查,用什么数据结构

89960

Java后端实习面经,电子科大大三读者投稿!看了之后感触颇深!很开心!

觉得很重要的一点就是根据自己写的简历和投递岗位的 JD 有针对性地复习。在简历上最为重要的版块就是项目经历和技能清单这两块,这两部分直接决定了能不能拿到面试资格和面试官怎样提问。...为什么三次,为什么四次? TCP 和 UDP 区别,有 TCP 为什么还要有 UDP? TCP 粘包和拆包问题有了解? TCP 是怎样保持连接的? 操作系统篇 并发编程死锁有了解?...创建线程有几种方式?分别是怎么做的? 线程池用过?如何创建一个线程池?其中各个参数的含义是什么?为什么要用线程池?coreSize? synchronized、ReentrantLock 区别?...CountDownLatch 和 Semaphore 用过?他们的区别是什么?CountDownLatch 应用场景?比如现在要让第 5 个线程等待前 4 个线程执行完毕再执行,具体怎么做?...JVM 有了解?JVM 参数–Xms和-Xmx是什么意思? 设计模式有了解过哪些?单例设计模式知道哪几种写法?策略设计模式了解?你在项目中用到了哪些设计模式?

1.2K20

当Synchronized遇到这玩意儿,有个大坑,要注意!

先得出结论了,那么怎么去证明“锁不止一把”呢? 能进入 synchronized 说明肯定获得了锁,所以我只要看各个线程有的锁是什么就知道了。 那么怎么去看线程持有什么锁呢?...这是第一次 Dump 的相关信息: mx 线程是 BLOCKED 状态,它在等待地址为 0x000000076c07b058 的锁。...同时,从线程堆栈我们也能看出来为什么锁对象 System.identityHashCode 的输出是一样的。...那么问题就来了:锁为什么发生了变化呢? 谁动了的锁? 经过前面一顿分析,我们坐实了锁确实发生了变化,当你分析出这一点的时候勃然大怒,拍案而起,大喊一声:是哪个瓜娃子动了的锁?这不是坑爹?...虽然它们都在缓存范围内,但是本来就是两个不同的对象,构建缓存的时候也是 new 出来的: 为什么要补充这一段看起来很傻的说明呢?

31330
领券