腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

社区首页 >问答首页 >在ROBOTS.txt中只允许Google CSE和不允许Google标准搜索

问在ROBOTS.txt中只允许Google CSE和不允许Google标准搜索
EN

Stack Overflow用户

提问于 2013-01-21 16:26:04

回答 1查看 787关注 0票数 7

我有一个网站，我正在使用谷歌自定义搜索引擎。我希望谷歌CSE爬行我的网站，但我希望它留在一个常规的谷歌搜索结果。我把它放在我的robots.txt文件中，希望google CSE机器人会忽略它，因为我在设置中指定了我希望Google CSE抓取的页面

User-agent: *
Disallow: /

我猜Google CSE机器人也必须遵守robots.txt。那么，有没有办法让我的页面远离搜索引擎搜索，而让Google CSE仍然能够对其进行索引？蒂娅！

robots.txt

google-custom-search

音视频体验馆免费体验试用

一站式·全方位体验音视频产品，所见即所得，30分钟即可上线同款能力

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-10-22 14:27:06

这个问题没有适合你的解决方案。我也有同样的情况，我只需要自定义搜索。不幸的是，谷歌的crawlers列表中并没有显示针对谷歌自定义搜索的特定机器人。屏蔽Googlebot既会杀死本地搜索，也会杀死自定义搜索。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/14442956

复制

php将表单中数据传入到数据库

数据库

1 <html> 2 <head> 3 <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> 4 <title>无标题文档</title> 5 </head> 6 7 <body> 8 <form action="" method="post">//创建表单 9 姓名 10 <input type="text" name="str"> 11 <input type="submit" name="submit

码缘

2019/09/11

2.2K0

数据库的存储系列———将图片存储到数据库

https java 网络安全存储数据库

在很多时候我们都使用数据库才存储我们的数据，然而我们通常在数据库里面存放的数据大多都支持数或者是一些字符，那么如果我们想在数据库里面存放图片，那么应该要怎么做的？

全栈程序员站长

2022/09/14

3.5K0

将图片存储到mysql数据库[通俗易懂]

数据库 sql java https 网络安全

正常的图片储存要么放进本地磁盘，要么就存进数据库。存入本地很简单，现在我在这里记下如何将图片存进mysql数据库

全栈程序员站长

2022/09/14

8.9K0

基于Python操作将数据存储到本地文件

python 数据库 sql json

前面说过Python爬取的数据可以存储到文件、关系型数据库、非关系型数据库。前面两篇文章没看的，可快速戳这里查看！《使用Python将数据存入SQLite3数据库》

JiekeXu之路

2019/08/15

5.4K0

为什么不推荐使用存储过程？

存储 c#编程算法爬虫 sql

之所以有这个题目，我既不是故意吸引眼球，也不想在本文对存储过程进行教科书般论述。最近项目中遇到的存储过程问题，让我想起了去年在武汉出差时一位同事的发问：

芋道源码

2019/11/29

2.1K0

将.sql文件中的数据库结构和数据存储入数据库中

数据库 sql

mysql>source C:\Users\Duan\Desktop\projectgo.sql (直接回车就行，不需要以分号结尾)

克虏伯

2019/04/15

3.2K0

使用云函数将CDN的日志存储到COS中

云函数 cdn 日志数据对象存储 python

本文介绍如何使用腾讯云的云函数功能，创建两个函数，实现定时将CDN的日志存储到COS中。

rexliao

2019/05/29

5.5K0

为什么不推荐数据库使用外键？

oracle 数据库 sql server sql

我的经验告诉我，很多数据库（大多数我曾经使用的）不包含外键时并不总是一件坏事。在这篇文章中，我想把重点放在为什么的原因上。

JavaFish

2019/10/16

1.8K0

使用 JDAudioCrawler 将下载的音频存储到本地存储

python 动态代理网络爬虫音频

在当今数字化时代，音频数据的获取和处理变得越来越重要。本文将访问网易云音乐为案例，介绍如何使用JDAudioCrawler这个强大的工具，将音频数据存储下载到本地存储中。将详细介绍实现的流程和代码细节。

小白学大数据

2023/10/25

3030

为什么实际业务中不建议直接使用POI操作Excel?

api 开源

温馨提示: 本文总共3551字,阅读完大概需要6-8分钟,希望您能耐心看完,倘若你对该知识点已经比较熟悉,你可以直接通过目录跳转到你感兴趣的地方,希望阅读本文能够对您有所帮助,如果阅读过程中有什么好的建议、看法,欢迎在文章下方留言或者私信我,您的意见对我非常宝贵,再次感谢你阅读本文。

IT学习日记

2022/09/13

1.5K0

将文件导入到数据库中_将csv文件导入mysql数据库

数据库云数据库 MySQL sql https tomcat

我一开始是准备还原数据库的，结果出现了如下问题。因为它并不是备份文件，所以我们无法进行还原。

全栈程序员站长

2022/11/10

14.4K0

spring cloud config将配置存储在数据库中

sql 数据库 jdbc git spring

Spring Cloud Config Server最常见是将配置文件放在本地或者远程Git仓库，放在本地是将将所有的配置文件统一写在Config Server工程目录下，如果需要修改配置，需要重启config server；放在Git仓库，是将配置统一放在Git仓库，可以利用Git仓库的版本控制。本文将介绍使用另外一种方式存放配置信息，即将配置存放在Mysql中。

方志朋

2019/05/26

1.9K0

Android 存储学习之SQLite数据库的基本操作 (使用API操作数据库)

数据库 sql api

上一节我们学习数据库的增删改查，都是采用的是自己写的SQL语句，但是这样拼写容易出现错误，所以Google为我们提供了一套API，这样可以很快捷的操作。

DragonKingZhu

2022/05/08

4580

Android 存储学习之SQLite数据库的基本操作 (使用API操作数据库)

快速入门网络爬虫系列 Chapter12 | 将数据存储到数据库

数据库管理云数据库 SQL Server css sql 数据库

数据模型是现实生活中数据的抽象，用来描述数据的概念和定义，是数据库中数据的存储方式，是数据库系统的基础。常用的数据模型有以下三种：

不温卜火

2020/10/28

1.2K0

yii2中怎么把session的数据存储到数据库中呢？

数据库 session 数据

'session' => [ // this is the name of the session cookie used for login on the frontend 'class'=>'yii\web\DbSession', 'sessionTable'=>"{{%session}}", 'name' => 'advanced-frontend', ], 再某个数据中中创建sess

贵哥的编程之路

2022/03/25

1.6K0

如何使用Restic Backup Client将数据备份到对象存储服务

存储安全 ftp

Restic是一个用Go语言编写，安全且高效的备份客户端。它可以将本地文件备份到许多不同的后端存储库，例如本地目录，SFTP服务器或对象存储服务。

乌鸦

2018/07/20

3.9K1

我为什么不建议你使用Python3.7.3？

python 编程算法网络安全 javascript

之前使用Python的环境一直是Python3.7.3的，一直使用的很正常，没有什么毛病，直到最近做一个图片下载器的时候发现了问题。

云爬虫技术研究笔记

2019/11/05

2.1K0

数据存储：MySql数据库的基本使用

数据库 mysql 连接数据数据存储

数据库，顾名思义，就是存放数据的仓库，它是按照一定的数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机硬盘中、有组织的、可共享的、统一管理的大量数据的集合。

马拉松程序员

2023/09/02

3180

点击加载更多

相似问题

不使用表单操作将值存储到数据库

将数据从表单存储到数据库中

尝试使用php将数据从表单存储到数据库中

通过php表单将数据存储到数据库中。

如何使用java将Html表单中的数据存储到数据库中？

活动推荐

云联络中心专属优惠，福利大放送！

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例