首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >.NET Core使用微软AI认知服务识别文字语言

.NET Core使用微软AI认知服务识别文字语言

作者头像
Edi Wang
发布2019-07-08 19:41:06
9440
发布2019-07-08 19:41:06
举报
文章被收录于专栏:汪宇杰博客汪宇杰博客

识别一段文字的语言有多种途径,在这个以AI为热点的时代,我们也可以给自己的应用强行加上AI,然后就能加上“智慧”的名字“自主研发成功”后去吹牛逼。今天我带大家来看看如何使用微软智慧云Azure提供的AI认知服务来识别一段文字的语言。

本文的前提条件是你得有一个Azure国际版的订阅,免费试用的也行。

新建Azure认知服务账户

点击"Create a resouce",然后搜索"Translator",选择"Translator Text",这是Azure认知服务的其中一种应用,主要用途是做翻译,但我们也能用来识别文字的语言。

Name中指定一个名称,可以任意,不影响程序开发。选择一个Pricing tier,这里我选的F0是免费的。Resource group也可以任意指定,不会影响程序开发。

创建完成后,到Keys中复制一个Key,Key1Key2都可以使用,作用是完全一样的,没有什么讲究。

.NET Core 调用认知服务

Azure认知服务提供了REST接口,所以我们在.NET Core里可以像使用任何REST API一样,构造请求,并解析返回的JSON字符串。

TextLanguageDetector

新建一个名为TextLanguageDetector的类。用来封装调用Azure认知服务的操作。定义属性HostRouteSubscriptionKey。其中SubscriptionKey就是之前从Azure Portal里复制的那个Key。这个需要让调用者根据自己的Azure账户自由调整,所以留在构造函数参数里。HostRoute是固定的,因此可以写死在程序里。

public class TextLanguageDetector
{
    public string Host { get; } = "https://api.cognitive.microsofttranslator.com";
    public string Route { get; } = "/detect?api-version=3.0";
    public string SubscriptionKey { get; }
    public TextLanguageDetector(string subscriptionKey)
    {
        SubscriptionKey = subscriptionKey;
    }
    public async Task<DetectResult> DetectAsync(string text)
    {
        // ...
    }
}

DetectAsync方法接受的是需要识别的文本,返回的DetectResult类型也是我们自己定义的,它的定义稍后再看。我们先看看该方法的具体实现:

if (string.IsNullOrWhiteSpace(text))
{
    throw new ArgumentNullException(nameof(text));
}
object[] body = { new { Text = text } };
var requestBody = JsonConvert.SerializeObject(body);
using (var client = new HttpClient())
using (var request = new HttpRequestMessage())
{
    request.Method = HttpMethod.Post;
    request.RequestUri = new Uri(Host + Route);
    request.Content = new StringContent(requestBody, Encoding.UTF8, "application/json");
    request.Headers.Add("Ocp-Apim-Subscription-Key", SubscriptionKey);
    var response = await client.SendAsync(request);
    var jsonResponse = await response.Content.ReadAsStringAsync();
    return new DetectResult(jsonResponse);
}

非常简明直接。使用POST动作向认知服务的终端地址提交一个构造的Body,内容Text为方法的输入参数,即要识别的文字。API的认证方式使用SubscriptionKey。最终拿到的jsonResponse是识别结果,转为DetectResult类型。

假设识别的是简体中文,并且没有发生异常,那么Azure认知服务的返回Json会是这样:

[
    {
        "language": "zh-Hans",
        "score": 1.0,
        "isTranslationSupported": true,
        "isTransliterationSupported": true,
        "alternatives": [
            {
                "language": "ja",
                "score": 1.0,
                "isTranslationSupported": true,
                "isTransliterationSupported": true
            }
        ]
    }
]

language是语言代码,zh-Hans就是简体中文。score表示AI认为有多大的可能性是该语言,1.0就是非常确信。对于文本“予力地球上每一人、每一组织,成就不凡”的识别结果,出现了两种确信的语言:简体中文和日语。但日语是alternatives的,所以AI基本断定,该语言为简体中文。具体的语言代码和语言名称对应关系可以从这里找到:

var cultures = CultureInfo.GetCultures(CultureTypes.AllCultures);

构造DetectResult

为了让我们程序对调用者更加友好,我们不会只返回Json。我根据Azure认知服务可能返回的两种情况:成功、失败,构造了DetectResult类型:

public class DetectResult
{
    public string RawJson { get; set; }
    public bool IsSuccess => !RawJson.Contains("\"error\"");
    public string ErrorMessage
    {
        get
        {
            var obj = JsonConvert.DeserializeObject<dynamic>(RawJson);
            return obj.error.message.ToString();
        }
    }
    public DetectResult(string rawJson)
    {
        RawJson = rawJson;
    }
    public List<TextCogResult> ToCogResults()
    {
        return IsSuccess ? JsonConvert.DeserializeObject<List<TextCogResult>>(RawJson) : null;
    }
}

RawJson用来存放认知服务返回的Json本身,可以让调用者去做一些更加高级的自定义解析。IsSuccess表示调用是否有成功,如果不成功的话用户可以检查ErrorMessage获得具体错误消息。成功的话可以调用ToCogResults()方法把结果解析到TextCogResult类型里去。这个方法返回的是一个List,因为输入的文本不一定只有一种语言。

public class TextCogResult
{
    public string Language { get; set; }
    public float Score { get; set; }
    //public bool IsTranslationSupported { get; set; }
    //public bool IsTransliterationSupported { get; set; }
    public Alternative[] Alternatives { get; set; }
}
public class Alternative
{
    public string Language { get; set; }
    public float Score { get; set; }
    //public bool IsTranslationSupported { get; set; }
    //public bool IsTransliterationSupported { get; set; }
}

以上的所有代码都可以封装到一个.NET Standard类库里,这样就可以跨.NET Framework, .NET Core或者Xamarin使用了。

为了方便大家,我已经发布了可以直接使用的NuGet包

https://www.nuget.org/packages/AzureAILanguageDetector

应用程序

以.NET Core控制台应用为例,调用TextLanguageDetector并输出语言的本地名称和英语名称:

var texts = new[]
{
    "Empower every person and every organization on the planet to achieve more",
    "予力地球上每一人、每一组织,成就不凡"
};
var dt = new TextLanguageDetector("你的Key");
foreach (var text in texts)
{
    var result = dt.DetectAsync(text).Result;
    if (result.IsSuccess)
    {
        var r = result.ToCogResults();
        var cultures = CultureInfo.GetCultures(CultureTypes.AllCultures);
        var ctr = cultures.FirstOrDefault(c => c.Name == r.First().Language);
        if (ctr != null) Console.WriteLine($"{ctr.EnglishName} - {ctr.NativeName}");
    }
    else
    {
        Console.WriteLine(result.ErrorMessage);
    }
}

本文示例代码:https://github.com/EdiWang/DotNet-Samples/tree/master/CogSvcLngDetect

参考资料:https://docs.microsoft.com/en-us/azure/cognitive-services/translator/quickstart-csharp-detect

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-02-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 汪宇杰博客 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档