问使用文本抽取器后，using忽略导致JsonFunctions.JsonTuple()中JSON异常的行
EN

Stack Overflow用户

提问于 2019-01-16 04:41:53

回答 2查看 303关注 0票数 1

我正在尝试将JSON文件转换为csv，提取一些感兴趣的特定键/值。我有大型文本文件(> 100万行)，其中每一行都是一个JSON对象。实际的结构是嵌套的，包含数组，但是对于这个问题它不应该很重要。

示例文件：

{"param1": val00, "param2": val01}
{"param1": val10, "param2": val11}
...
{"param1": valn0, "param2": valn1}

我在文本抽取器中使用以下代码将每行转换为JSON对象，然后使用JsonFunctions.JsonTuple()解析JSON对象

REFERENCE ASSEMBLY DdaAdlDb.[Newtonsoft.Json];
REFERENCE ASSEMBLY DdaAdlDb.[Microsoft.Analytics.Samples.Formats];

USING Microsoft.Analytics.Samples.Formats.Json;

@RawExtract = 
    EXTRACT RawString string
    FROM @InputFile 
    USING Extractors.Text(delimiter:'\b', quoting:false);

@json =
    SELECT JsonFunctions.JsonTuple(RawString, "..*") AS RootObject
    FROM @RawExtract;

我遇到了一些问题，因为至少有一条线路是腐败的，如下所示：

{"param1": val00, "param2"{"param1": val10, "param2": val11}
...
{"param1": valn0, "param2": valn1}

这些是我收到的错误消息。

在计算表达式Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonTuple(RawString，“..*”时，顶点失败了，出现了一个快速失败的错误E_RUNTIME_USER_EXPRESSIONEVALUATION错误))用户表达式中的内部异常:在解析一个值之后，遇到了一个意想不到的字符：{。在Newtonsoft.Json.JsonTextReader.ParsePostValue(Boolean ignoreComments，====在Newtonsoft.Json.Linq.JContainer.ReadTokenFrom(JsonReader阅读器的Newtonsoft.Json.JsonTextReader.Read()，JsonLoadSettings设置，在Newtonsoft.Json.Linq.JObject.Load(JsonReader阅读器，JsonLoadSettings设置)的Newtonsoft.Json.Linq.JObject.Load(JsonReader阅读器，JsonLoadSettings设置)，Newtonsoft.Json.Linq.JToken.Parse(String json，( Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonTupleT at Microsoft.Analytics.Samples.Formats.Json.JsonFunctions.JsonTuple(String json，String[] path)在d:\data\yarnnm\local\usercache\45905a29-60cf-4dd2-bf9c-c2b31bedea60\appcache\application_1546207842059_5159256\container_e346_1546207842059_5159256_01_000001\wd__ScopeCodeGen__.dll.cs:line 233中的_Scope_Generated_Classes_.SqlFilterTransformer_13.Process(IRow inRow，IUpdatableRow outRow)

我不介意说几句话。我看到，对于提取器，我可以使用silent: true来忽略坏行。对于JsonFunctions.JsonTuple()解析函数有类似的选项吗？

json

azure

azure-data-lake

u-sql

语音识别特惠，低至14.9元！

提供业界非常具有性价比的语音识别服务，超高识别准确率，适用多场景

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-02-17 22:05:46

为了避免在JsonReaderException上崩溃，可以在U脚本中创建一个try-catch块。

尝试-捕捉块

// Ignore rows with invalid JSON formattting
DECLARE @TryParseJson Func<string, SqlMap<string, string>> = (RawString)=>{
    try 
    {
        return JsonFunctions.JsonTuple(RawString, "..*");
    }
    catch (Newtonsoft.Json.JsonReaderException e)
    {
        return null;  // Consider returning empty SqlMap<string, string> instead
    }
};

提取和解析JSON

每一行包含一个JSON字符串

@RawExtract = 
    EXTRACT RawString string
    FROM @InputFile 
    USING Extractors.Text(delimiter:'\b', quoting:false);

@json =
    SELECT @TryParseJson(RawString) AS RootObject
    FROM @RawExtract;

忽略带有无效JSON (null值)的行

@result =
    SELECT RootObject["id"] AS Id
         , RootObject["status"] AS Status
         , RootObject["time"] AS Time
    FROM @json
    WHERE RootObject != null;  // Ignore invalid JSON