开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >我们如何将Apache用于未格式化的数据？

问我们如何将Apache用于未格式化的数据？
EN

Stack Overflow用户

提问于 2011-12-26 05:19:09

回答 2查看 4.6K关注 0票数 2

我想使用Apache pig，但到目前为止，我只分析了格式化的数据，如csv或逗号分隔等等。

但是，如果我有一些由';‘和'@&@’等分隔的数据，我如何处理呢？

就像我使用MapReduce时一样，在map中将数据拆分为";“，然后再用reduce中的"@&@”来分割数据。

另外，假设我们有一个具有第一个字段用户名的csv文件，它是由"FirstnameLastname“格式生成的，

raw = LOAD 'log.csv' USING PigStorage(',') AS (username: chararray, site: chararray, viwes: int);

通过上面的例子，我们可以获得整个用户名，但是我如何获得名称和Lastname的不同呢？

有奖征集｜云上CPU玩转AIGC挑战赛

参加活动赢取洛斐键盘、小米电纸书、智能音响等鹅厂周边！

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2011-12-26 19:21:30

Java或Python可以在Pig中使用UDF做任何事情。Pig并不打算拥有一组详尽的处理功能，而只是提供基本的功能。Piggybank通过收集一堆社区贡献的UDF来填补定制代码的空白。有时候，银行就是没有你需要的东西。写UDF很简单，这是件好事。

您可以编写一个自定义装载机，在加载时处理数据的独特结构。定制的load函数使用Java代码处理数据，并输出Pig正在寻找的结构化柱状格式。客户加载器的另一个优点是您可以指定加载模式，这样您就不必写出AS (...) A=使用log.csv(“任何”、“参数”)加载‘MyCustomLoader’；
你可以写一个自定义评价函数。有时候，像SPLIT或TOKENIZE这样的函数还不够好。使用TextLoader逐行地获取数据，然后使用UDF解析该行并输出元组(然后可以将其扁平化为列)。 A=使用TextLoader() as加载‘TextLoader’(行:char数组)；B= FOREACH生成平坦(CustomLineParser(行))；

票数 4

EN

Stack Overflow用户

发布于 2011-12-26 08:54:19

也许您可以第二次使用STRSPLIT来拆分字符串：

此外，;也可以由\\u003B拆分

票数 2

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/8636129

复制

相关文章

UISearchBar 搜索框

uisearchbar 搜索

///在 .h 写代理 <UITableViewDelegate,UITableViewDataSource,UISearchBarDelegate> ///结合UITableView 展示了UISearchBar _searchArray = [[NSMutableArray alloc] init]; _dataArray = [[NSMutableArray alloc] initWithObjects:@"qq", @"tencent", @"NOKIA", @"samsung", @"go

用户8983410

2021/10/29

1.5K0

在 Swift 中自定义操作符

很少有Swift功能能和使用自定义操作符的一样产生如此多的激烈辩论。虽然有些人发现它们真的有用，可以降低代码冗余，或实施轻量级语法扩展，但其他人认为应该完全避免它们。

韦弦zhy

2021/07/01

1.5K0

Swift 自定义Subscript

java https 网络安全

如果一个类中支持多种下标，而且参数类型也是一样的，可以在访问该下标的时候显式地申明类型：

全栈程序员站长

2022/07/15

2080

导航栏搜索框简单封装

搜索协议字符串

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

星宇大前端

2019/10/25

1.1K0

Swift 自定义返回按钮

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

星宇大前端

2019/10/25

1.6K0

在Swift中标识对象

swift ios api 渲染 ide

我们经常会遇到这样的情况：我们需要找到一种方法，根据一些身份的概念来存储对象。无论是在缓存中，还是在磁盘上存储对象的表示，或者简单地使用字典——我们经常需要找到方法来唯一地识别我们所处理的对象。

韦弦zhy

2022/03/30

7540

swift4.0 自定义LOG

我们在用OC开发的时候通过宏定义自定义打印，swift没有宏定义，那么我们只能这么自定义了。

星宇大前端

2019/01/15

6910

iOS组件系列之UINavigationBar与UISearchBar

uinavigationbar uisearchbar

设置UINavigationBar的titleView和UISearchBar背景透明 self.titleSearchBar = UISearchBar(frame: CGRectMake(0,0,200,44)); self.titleSearchBar.backgroundColor = UIColor.clearColor(); self.titleSearchBar.barStyle = UIBarStyle.BlackTranslucent; self.titleSearchBar.placeh

码客说

2019/10/22

5420

Swift专题讲解十六——ARC在Swift中的应用

ARC（自动引用计数）是Objective-C和Swift中用于解决内存管理问题的方案。在学习Objective-C编程时经常会学习到一个关于ARC的例子：在一个公用的图书馆中，每次进入一人就将卡插入，走的时候将自己的卡拔出拿走。图书馆系统会判定只要有卡插入，就将图书馆的灯打开，当所有卡都被取走后，将图书馆的灯关掉。这个例子对应于Objective-C中的对象声明周期管理十分贴切。每当一个对象增加一个引用时，其引用计数会加1，当一个引用被取消时，对象的引用计数减1，当引用计数减为0时，说明此对象将不再有任何引用，对象会被释放掉，让出内存。Swift也采用同样的方式进行内存管理。

珲少

2018/08/15

1.3K0

Swift专题讲解十六——ARC在Swift中的应用

iOS中UISearchBar(搜索框)使用总结

初始化：UISearchBar继承于UIView，我们可以像创建View那样创建searchBar

珲少

2018/08/16

2.6K0

iOS中UISearchBar(搜索框)使用总结

iOS各View的属性设置

UILabel UITableView 背景色 tableView.backgroundColor = UIColor(hexString: "#f3f3f3", alpha: 0.6); 分割线 tableView.separatorStyle = UITableViewCellSeparatorStyle.SingleLine; 內边距 self.tableView.contentInset = UIEdgeInsetsMake(0, 0, 64, 0); UITableViewCell 右侧标记 ce

码客说

2019/10/22

1.4K0

GCD 在 Swift 中的用法

swift 海外加速 ios javascript node.js

Swift 中，对 GCD 语法进行了彻底改写。引入了 DispatchQueue 这个类。

零式的天空

2022/03/22

1.6K0

在 UIKit 中使用 Swift UI

swift ios 网站 xcode

首先打开 Xcode 新建一个 Cocoa Touch 项目，interface 选择 Storyboard。

Innei

2021/12/28

3.1K0

propertye wrapped， optional在Swift妙用

1 关于Optional 使用swift开发项目中会用大所谓的可选类型，如下面的： var age:Int? 我们做做业务是往往使用 if 或者 guard来走 guard let age

大话swift

2021/03/18

1.1K1

iOS开发-搜索栏UISearchBar和UISearchController

最近项目中用到了搜索栏，所以在网上搜了一些相关的资料学习了一下，现在记录一下，iOS中的搜索栏实现起来相对简单一点，网上也有很多参考资料，不过靠谱的不是很多，很多都是iOS 8.0之前的实现，iOS 8.0上的实现貌似很少看到，看了一些其他人的代码，使用了一下UISearchController感觉还是非常不错的。好了不多说了，来点干货吧。 1 UISearchBar和UIDisplayController实现搜索是网上最常见的也算是最简单的，也有使用Searh Bar Search Displa

roc

2018/03/30

2.4K0

iOS开发-搜索栏UISearchBar和UISearchController

iOS OC swift 自定义 popover 泡泡

ios swift xcode git http

git 地址：https://github.com/TieShanWang/KKPopover

onety码生

2018/11/21

2.7K0

GCD 在 Swift 中的用法

swift 人工智能

DispatchQueue Swift 中，对 GCD 语法进行了彻底改写。引入了 DispatchQueue 这个类。先来看看在一个异步队列中读取数据，然后再返回主线程更新 UI，这种操作在新的 Swift 语法中是这样的： DispatchQueue.global().async { DispatchQueue.main.async { // 更新UI操作 } } DispatchQueue.global().async 相当于使用全局队列进行异步操作。然

BY

2018/05/11

2K0

Swift 自定义布局实现 Cover Flow 效果

大家早上好，今天我又给大家带来了一篇关于 UICollectionView 系列的文章，在上一篇文章中，我们实现了一个酷炫的瀑布流布局，带大家初步的了解了在 UICollectionView 中该如何创建自定义布局。但是上一篇中实现的自定义布局稍显简单，只能说是比较粗略的计算了下布局各个 item 的位置，搞明白了继承自 UICollectionFlowLayout 子类它需要重载的方法的意义，那么今天这篇文章我们就来实现一个更加复杂的自定义布局: Cover Flow 效果吧！

HelloWorld杰少

2022/08/04

1.8K0

Swift 自定义布局实现 Cover Flow 效果

在 Xcode 中添加 Swift package 依赖

xcode swift ios api 编程算法

到目前为止，我们一直在编码的所有内容都是我们从头开始构建的内容，因此您可以确切地了解其工作原理并将这些技能应用于自己的项目。但是，有时候，从头开始写东西是有风险的：也许代码很复杂，也许很容易出错，也许它经常更改，或者其他各种原因，这就是模块依赖存在的原因——能够获取第三方代码并在我们的项目中使用它。

韦弦zhy

2020/09/18

7K0

在 Xcode 中添加 Swift package 依赖

点击加载更多

相似问题

创建自定义UISearchBar Swift

23

在Swift中隐藏UISearchBar

14

Swift - UISearchBar in UIToolbar

13

Swift 3的UISearchBar

14

使用Swift的NavigationItem + UISearchBar

11

活动推荐

提供大模型在企业的应用构建、高效便捷

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例