阻止crawler更改表属性

文章/答案/技术大牛

发布

1回答

amazon-s3、aws-glue、amazon-athena

我有一个由爬虫创建的粘合表，默认的是org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe属性。我将其更改为使用org.apache.hadoop.hive.serde2.OpenCSVSerDe，但是爬虫程序会在运行时恢复该更改。我用爬虫设置了什么配置来阻止它这样做？

浏览 26提问于2021-09-28得票数 0

3回答

根据提供的属性在运行时更改设置

python、python-3.x、scrapy、scrapy-spider

如果提供布尔属性，我希望在CONCURRENT_REQUESTS运行时中更改settings.py中的参数。我尝试覆盖from_crawler方法，如下所示，但它似乎不起作用def from_crawler(cls, crawler, **kwargs): if 'conc' in kwargs: settings.set('CONCU

浏览 1提问于2019-02-04得票数 2

1回答

为什么Kinesis或Crawler要在我的数据中创建分区？

amazon-web-services、amazon-s3、amazon-kinesis-firehose、aws-glue-data-catalog、glue-crawler

我的数据，当写入运动消防软管时，有以下属性：'dataset_datetime，attr1，attr2，attr3，attr2 4.‘。我不希望这些属性被创建..。问:为什么胶水爬虫要创建这些附加属性，我如何阻止它创建它们？或者，如何防止动态在S3中创建上面的dir结构，而只是转储带有时间戳的文件？

浏览 10提问于2022-07-26得票数 0

回答已采纳

1回答

如何配置AWS glue crawler读取数据集中带有逗号的csv文件？

aws-glue-data-catalog

S3存储桶的csv文件中有如下数据：----------------------我已经创建了爬虫，它创建了表，获取以下数据：如何配置AWS glue Crawler创建目录表以读取上述数据？

浏览 6提问于2021-06-23得票数 0

4回答

如何设置抓取表的名称？

amazon-web-services、aws-glue

AWS crawler具有用于添加新表的前缀属性。因此，如果我保留前缀为空，并启动crawler到s3://my-bucket/some-table-backup，它将创建名为some-table-backup的表。有没有办法将其重命名为my-awesome-table，并让crawler不断更新更名表？或者设置crawler使用提供的名称创建新表？

浏览 0提问于2018-01-18得票数 9

2回答

带有双引号和逗号的AWS胶水问题

hadoop、hive、presto、amazon-athena、aws-glue

我有这个CSV文件：V7T452F4H9,"12410 W 62TH ST, AA D"ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2

浏览 2提问于2018-05-15得票数 18

回答已采纳

1回答

更新Glue表架构时设置小数位数

amazon-web-services、aws-glue、aws-glue-data-catalog

我正在尝试更新Glue Data Crawler创建的CSV表定义。其中一列包含当前被归类为双精度的十进制数据。我发现当我使用控制台更改模式时，我无法设置可能与数据类型相关联的任何附加属性(例如，如果我选择Decimal，就会得到Decimal(10,0)，无法更改数字大小或小数位数)。建议如何更新此模式，使其具有正确的数据类型，包括其他属性？

浏览 3提问于2020-03-08得票数 4

回答已采纳

2回答

有没有办法在作业完成后运行aws glue crawler？

amazon-web-services、aws-glue

例如，我运行ETL，可能会为目标表添加新的字段或列。要检测表更改，应运行crawler，但只有手动或计划运行。作业完成后是否可以触发crawler？

浏览 13提问于2018-01-11得票数 9

回答已采纳

1回答

Crawler4j静默停止

java、web-crawler、crawler4j

在我的应用程序中，我使用了crawler4j。编辑：我只是想，crawler4j并不是为任何wordpress网站工作的。例如，或者你可以检查 (将/next添加到任何wordpress站点的url)。可能的原因是什么？

浏览 0提问于2014-05-02得票数 0

1回答

当我再次运行胶水爬虫程序时，它所指向的S3路径中的文件没有任何更改，会发生什么？

aws-glue、aws-glue-data-catalog

当我运行相同的AWS Crawler gain而没有对S3中的文件进行任何更改时，它会爬行所有的文件gain吗？有时我可能有500个文件在存储桶中。Crawler会处理所有文件，还是什么都不做，因为文件没有修改，也没有新文件？

浏览 10提问于2020-04-22得票数 0

回答已采纳

1回答

如何设置抓取蜘蛛的爬虫参数

python、scrapy

我试图向管道对象传递scrapy蜘蛛中设置的db表参数，以跟踪问题。根据对这个问题的回答，我有：def from_crawler(cls, crawler):更改

浏览 6提问于2016-12-09得票数 2

回答已采纳

3回答

crawlers是否可以更新AWS Glue中导入的表？

amazon-web-services、aws-glue

我从Athena导入了一个数据库目录，并希望每天爬行这些表的数据位置，以便在添加数据时自动更新它们的分区。然而，我的爬虫似乎只创建新的表，与从Athena导入的表是分开的。它们似乎不会更新我现有的表。有没有办法做到这一点？在他们的文件里没看到任何提及。

浏览 0提问于2017-10-27得票数 1

1回答

我正在使用Goutte crawler。因此，在接下来的几个小时里，我尝试在具有特定查询的搜索页面中获取div的样式属性，这个样式有一个背景-img。因此，首先我通过以下方式向url发出GET请求 $crawler = $client->request('GET',"https://www.esheeq.net/search/مسلسل+علي+رضا"); 然后爬过它 $crawler->filter(".imgB

浏览 19提问于2020-10-03得票数 0

回答已采纳

4回答

如何通过cloudformation为glue crawler设置“从表继承模式”？

amazon-web-services、amazon-cloudformation、aws-glue

aws glue crawler的web colsole中的Schema change policy部分包含3个点，而CloudFormation节模板只定义了2个点。

浏览 0提问于2018-01-19得票数 4

2回答

如何导入设置以覆盖它

python、python-2.7、scrapy

我得到了： return self.crawler.settingsFile "C:\Python27\lib\site-packages\scrapy\spider.py", line 41, in crawler assert hasattr(self, '_crawler'), "Spider n

浏览 5提问于2014-08-18得票数 3

1回答

Terraform没有在cloudwatch事件目标上添加日志组名称

amazon-web-services、terraform、amazon-cloudwatch

resource "aws_cloudwatch_event_target" "trigger_glue_job_lambda" {} resource "aws_cloudwatch_event_target" "log_glue_crawler_result&

浏览 0提问于2019-07-29得票数 3

回答已采纳

2回答

在EF中插入/更新实体？

c#、entity-framework

ParseDataPage返回EF中从站点解析的信息，其属性之一是唯一标识符(这也是db表中的主键)，我如何告诉EF插入/添加对象？= (adCreatorEntities) DbContextFactory.GetInstance().GetDbContext<adCreatorEntities>(); crawler.Login(); var propertyId

浏览 0提问于2013-10-24得票数 3

回答已采纳

3回答

使用AWS Glue Crawler指定SerDe序列化库

amazon-web-services、amazon-athena、aws-glue、aws-glue-data-catalog

每次在现有数据上运行胶水爬虫时，它都会将Serde序列化库更改为LazySimpleSerDe，这不能正确分类(例如，对于带有逗号的引用字段)然后，我需要手动编辑Glue目录中的表详细信息，以将其更改为org.apache.hadoop.hive.serde2.OpenCSVSerde。如何让爬虫为生成或更新的表指定特定的序列化库？

浏览 0提问于2019-08-14得票数 9

1回答

刮痕。如何在流水线中将项目发送到close_spider方法

python、scrapy

我生产和处理许多项目，在某些情况下，我更新跟踪表。此跟踪包含多个属性，包括国家，所有这些属性都来自项。所有这些行动都在进行中。在蜘蛛关闭后，我必须把这个跟踪发送到负责的人的国家。但我无法将项目发送到捕获关闭蜘蛛的方法@classmethod temp = cls() crawler.signals.connectspider = kwargs.get("spider&q

浏览 3提问于2022-06-07得票数 0

1回答

爬虫如何比直接连接到数据库和提取数据要好得多？

amazon-web-services、aws-glue、hive-metastore

1)使用Crawler 2)直接连接到DB或S3。所以，，我的问题是：与直接连接数据库和检索数据相比，爬虫如何更好？

浏览 9提问于2020-08-26得票数 1

点击加载更多