网宿科技发布边缘AI网关，赋能开发者简化AI构建流程

来源：环球网

【环球网科技综合报道】7月11日，网宿科技宣布正式推出其全新的AI服务——边缘AI网关。

网宿科技CDN产品研发总监曾智全在发布会上表示，随着AI成为新一轮创新的焦点，越来越多的企业希望利用AI技术来推动业务发展，但往往受限于技术或经验的缺乏。网宿科技此次推出的边缘AI网关，正是为了帮助企业更简单、更安全、更有效地应用AI技术。

据悉，网宿边缘AI网关旨在为企业在模型服务与AI应用之间搭建起一座桥梁。无论是个人开发者还是大型企业，都可以通过网宿边缘AI网关更加便捷地管理和集成模型服务，进而更好地开展AI应用创新。

近年来，随着GPT等大模型的兴起，AI在各行各业的应用加速涌现。集成大模型已成为提升应用体验和功能深度的普遍趋势。然而，企业在使用多个模型或提供商时，面临着高昂的AI应用成本以及复杂的管理和运维难题。如何更好地管控模型使用、降低成本支出，并清晰地洞察AI使用现状和服务问题，成为企业构建AI应用的内在诉求。

此外，企业在使用模型服务的过程中，还面临着敏感数据泄露、内容不合规等风险。目前，大多数企业组织还未着手解决或正在解决这些AI相关风险。

针对这些挑战，网宿边缘AI网关提供了一体化的解决方案。企业可以通过统一的控制平台创建边缘AI网关，添加通道，实现与多个AI服务商的模型对接，并且平台支持多模型服务的可管、可控、可观察。

在接入层面，网宿边缘AI网关已经提前完成了与多个主流AI服务商的集成。企业开发人员无需频繁修改代码，只需在控制台进行网关配置，即可一次接入并使用多个模型服务，大大提升了接入效率。

在管理层面，网宿边缘AI网关支持特殊配置，企业可以在AI网关上灵活定义优先级、负载均衡、限速等策略，按需配置不同模型服务，实现成本可控或减少滥用。同时，企业还可以在请求失败情况下实现无缝切换，提升AI服务的可靠性。另外，启用缓存功能后，一旦请求在AI缓存中命中，则不必回到模型提供商，从而减少tokens数的消耗，降低成本并提高响应速度。

在运营层面，网宿边缘AI网关提供数据可视化功能，聚合来自多个模型提供商的指标，并支持请求数、tokens数、缓存数、错误数等的分析展示。同时，提供实时日志记录，让企业可以观测和控制模型服务的使用情况，以优化模型服务策略。

除了高效接入与管理外，网宿边缘AI网关还注重确保模型服务的安全性、高性能以及可定制化。在安全性方面，企业可以在网关上配置提示词过滤规则或执行内容安全审计，以确保交互内容的安全、合规和尊重用户。在服务性能上，依托网宿强大的全球资源网络，用户可以就近接入边缘分布式AI网关，确保访问的稳定性和速度。

目前，网宿边缘AI网关已开放限时免费测试，以支撑用户的AI体验。未来，网宿科技还将深入企业应用，聚焦特定的AI场景，打造更多如边缘向量数据库、边缘模型推理服务等创新产品，计划面向公众开放。

届时，企业将能够轻松集成公共或自有模型，通过边缘AI网关合理管控模型应用，并获取多模型运行数据。同时，他们还可以与边缘函数、边缘KV存储、应用引擎等组合使用，灵活构建和扩展边缘AI应用，执行智能问答、内容创作、检索增强、图片识别等多样化的AI任务。

随着AI时代的不断发展，网宿科技在AI领域的能力布局将持续深化。曾智全表示，网宿科技将致力于构建更加敏捷、适应性更强、更安全的AI生态系统，让更多企业都能拥抱AI，并从中获得创新与增长。

分布式系统使用网关到底是好还是坏？

灵魂拷问

分布式系统的设计大体上分为中心化和非中心化，像现在流行的微服务模式，本质上是把各种业务拆分为独立的进程来实现业务的扩展性。伴随着业务的不断被拆分，整体的系统性能也有所提高，但是系统又往往面临着中心化的需求，这个世界就是这么有趣，我们不但要非中心化的优势，还要保证中心化的优势。

统一的需求

说到非中心化需求，最简单最常见的就是鉴权，简单来说就是判断用户是否有执行某种动作的权限。以鉴权为例，当有N个微服务有同样的鉴权需求的时候，有以下几种解决方案：

有人说第一种方案没人用，是吗？在服务数量不是太多的情况下，据我所知有很多公司初期都是每个服务都实现自己的鉴权，不要说这种做法一无是处，首先在各个团队技术栈不同的情况下，这是一个团队可以快速实现功能的一种解决方案，而且不依赖于任何其他服务，这意味着这个服务不会受到别的服务的影响，这体现的是非中心化最核心的价值之一。

至于第二种解决方案是典型的集中式处理的方案之一，他按照业务功能把鉴权独立成单独的服务，所有使用鉴权服务的系统都依赖于这个服务，所以这个统一的鉴权服务需要保证高可用，而且对性能比较敏感，稍有不慎，流量高峰就有可能对整个系统造成致命打击。但是，还是有不少公司在用这种架构模式，你说奇怪不奇怪，正所谓，存在即合理。

至于第三种使用网关模式，可以说是目前市面上文章吹捧最多的解决方案。当然得到广大程序员的吹捧自然有它的优势，但是请记住，它并非没有劣势。

从上图清晰的可以看到，来自于客户端的所有流量都经过网关，所以理论上来讲，所有统一化的需求都可以在网关进行实现，这样每个后端的业务服务代码都不会有任何的侵入性。至于这些需求最常见的有：

虽然网关很香，但是一旦整个系统引入网关，就会随之带来一些问题：

如何引入网关

在没有网关的时候，系统一般都会有一个无状态的web层，这一层的主要作用是根据业务组织后端服务结果来响应客户端的请求，例如：一个订单详情的请求，web层会同时请求订单服务来查询订单信息，请求用户服务来查询下单人信息，请求商户服务来查询商家信息，然后把这些信息组合成客户端想要的数据格式，然后返回客户端数据。



如果做鉴权，限流等操作，同样也是做在这个web层，在引入了网关之后，这个web层到底还要不要呢？不同的公司有不同的做法，不过我还是建议保留web层，用它来做服务的聚合层，这样整体架构就变成了这样

网关和负载均衡

通过以上阐述可以看到，网关在部署架构上和负载均衡器很像，但是它们其实是两种东西。虽然它们都会承载统一的入口流量，但是负载均衡器只是单纯的对请求的转发，而网关除了对请求的转发之外，更重要的职责是统一的业务处理，就像鉴权，限流，降级等。

所以从功能角度来说，网关几乎可以代替负载均衡器。

写在最后

你的系统是否需要网关不仅仅要看系统的需求，还要看公司的整体技术运维能力，毕竟一旦引入网关，它对技术上的要求比较高，而且对高可用和性能比较敏感。但是网关对于那些统一化的需求有着天然的优势，无论是鉴权，还是服务的治理，所以很多公司引入了网关。无论是采用自建还是开源来实现网关，我们都要考虑它的扩展性。现在比较流行的网关有：Kong，Zuul，Tyk 等，详细信息可以参见它们的官网。

题外话

我这里有java进阶架构vip学习资料，包含内容有：Java工程化、高性能及分布式、性能调优、Spring，MyBatis，Netty源码分析、线程并发、JVM、微服务、算法和大数据等多个知识点。需要获取这些内容的朋友。

关注＋转发后 私信 “ 111 ” 即可100%无套路免费获取。

相关问答

1.链路层协议网关链路层协议网关可以提供局域网到局域网的转换,通常被称为翻译网桥而不是协议网关。在使用不同帧类型或不同时钟频率的局域网间互连时就需要...

Java微服务和分布式之前一直说,但是对于其中的内在含义没有深究,就一般理解的基于Dubbo+Zookeeper的分布式架构和基于SpringBoot+SpringCloud微服务...

RestCloud配置中心RestCloud配置中心是由谷云科技完全自主研发的配置中心产品,RestCloud配置中心的定位是面向大中型企业分布式部署架构时的配置中心解决方案...

网关既可以用于广域网互连,也可以用于局域网互连。对于普通用户来说,网关就是运营商交换机上端口地址,即家庭网络将外联数据包发送到的目的地。DNS(DomainNa...

它增加了一个我们必须开发、部署和维护的高可用组件。还有一个风险是,API网关变成了开发瓶颈。简单来说,在我们期望的去中心化和全分布式架构中,网关又成了...

学习编程的时候,看的是“如鹏网”的《这样学Java不枯燥》视频教程。课程体系的设置可以极大的激发对编程的兴趣,通过开发超级玛丽,飞机大战,吃金币,连连看...所...

专...杭州加密矩阵科技有限公司成立于2018年5月,是工信部审核通过的全国第二批区块链公司。成立两年以来拥有四项发明专利,目前已成为国内综合实力较强的专...

SpringCloud基于SpringBoot,为微服务体系开发中的架构问题,提供了一整完套的解决方案,包括:服务注册与发现,服务消费,服务保护与熔断,网关,分布式调用...服...

Java作为目前最流行的编程语言,得到了大量程序员和大量互联网公司的青睐,BAT、华为、字节跳动等大厂都有Java相关的项目。Java的流行得益于它成熟的生态和框架...

(三)重点任务一是研究和部署农业物联网公共服务平台。面向农业物联网重大行业应用,重点突破多源信息融合、海量信息分布式管理、智能信息服务等关键...一是研...