首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

一种快速的未登陆词识别方法(原理和实现)

最近网络上关于分词的算法已经很多了,在实际应用中每个人根据对分词的不同理解写了不同的中文分词算法,可谓百花齐放.     但现在似乎还没有针对未登陆词的识别算法,有鉴于此,我特地写了一个,抛砖引玉. 算法的假设:     1. 未登陆词是由单字组成的;     2. 如果一个字同时属于2个未登陆词,那么只选择第一被识别的词; 测试文章:     最近电视剧大长今很火,我就选取了介绍大长今的文章,     地址:http://www.360doc.com/showWeb/0/0/18183.aspx     识别结果如下:         PDH : initialize phrase dictionary         QuerySpliter reInitialize dictionary. 长今,职场,闵政浩,韩剧,郑云白,连生,主簿,冷庙高香,义字,医女,张德,剩者,济州,选拨,文秘 算法原理:     首先找出已经分词后的单字,然后查看单字的下一个是否还是单字,如果是,判断这种情况出现的次数,如果超过预订的阀值,那么就确认这是一个新词.     下面是一个算法的计算过程展示:     PDH : initialize phrase dictionary     QuerySpliter reInitialize dictionary.     >>>8,9;9,10     长今     >>>237,238;238,239     职场     >>>595,596;596,597;597,598     闵政浩     >>>189,190;190,191     韩剧     >>>1111,1112;1112,1113;1113,1114     郑云白     >>>599,600;600,601     连生     >>>610,611;611,612     主簿     >>>975,976;976,977;977,978;978,979     冷庙高香     >>>1233,1234;1234,1235     义字     >>>559,560;560,561     医女     >>>561,562;562,563     张德     >>>3114,3115;3115,3116     剩者     >>>534,535;535,536     济州     >>>580,581;581,582     选拨     >>>2071,2072;2072,2073     文秘     本算法是在:小叮咚分词的基础上进行的.     欢迎大家一起交流,改进这个算法.

04

产品太多了,如何实现一次登录多产品互通?

大家好,我是老王,最近开发新产品,然后老板说我们现在系统太多了,每次切换系统登录太麻烦了,能不能做个优化,同一账号互通掉。作为一个资深架构狮,老板的要求肯定要满足,安排! 一个公司产品矩阵比较丰富的时候,用户在不同系统之间来回切换,固然对产品用户体验上较差,并且增加用户密码管理成本。也没有很好地利用内部流量进行用户打通,并且每个产品的独立体系会导致产品安全度下降。因此实现集团产品的单点登录对用户使用体验以及效率提升有很大的帮助。那么如何实现统一认证呢?我们先了解一下传统的身份验证方式。 1 传统Sessi

03

爬虫中带验证码登陆的cookie

什么是cookie? Cookie是指网站为了辨别用户身份,进行 Session跟踪而存储在用户终端的数据。很多网站是要访问是需要先进行登陆的,所以在我们访问之前先进行cookie的登陆。 使用cookie登陆 有些网站是需要验证码才能登陆的,所以使用cookie登陆后,网站服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容。因此,需要验证码的情况可以使用带验证码登陆的cookie解决。 以下就以代码的方式访问获取cookie #! -- encoding:utf-8 -- import requests import random import requests.adapters # 要访问的目标页面 targetUrlList = [ “https://www.weibo.com”, “https://httpbin.org/headers”, “https://httpbin.org/user-agent”, ] # 代理服务器(产品官网 www.16yun.cn) proxyHost = “t.16yun.cn” proxyPort = “31111” # 代理隧道验证信息 proxyUser = “16RIULPS” proxyPass = “524586” proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % { “host”: proxyHost, “port”: proxyPort, “user”: proxyUser, “pass”: proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { “http”: proxyMeta, “https”: proxyMeta, } # 访问三次网站,使用相同的Session(keep-alive),均能够保持相同的外网IP s = requests.session() # 设置cookie cookie_dict = {“JSESSION”:“123456789”} cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) s.cookies = cookies for i in range(3): for url in targetUrlList: r = s.get(url, proxies=proxies) print r.text 若存在验证码,此时采用response = requests_session.post(url=url_login, data=data)是不行的,做法应该如下: response_captcha = requests_session.get(url=url_login, cookies=cookies) response1 = requests.get(url_login) # 未登陆 response2 = requests_session.get(url_login) # 已登陆,因为之前拿到了Response Cookie! response3 = requests_session.get(url_results) # 已登陆,因为之前拿到了Response Cookie!

01
领券