跳转至

在 AWS 上将 Megaport 与 Snowflake 集成

您可以使用 Megaport 在本地或托管机房的基础架构与在 AWS 上的 Snowflake 环境之间创建 AWS Direct Connect 二层连接。

在开始之前,请确保您已创建 Port。创建 Port 之后,您可以从该 Port 到与 AWS VPC 基础架构关联的虚拟网关创建一个 Virtual Cross Connect(VXC)。VXC 是在 A 端(您的 Port)与 B 端(在本例中为您的 AWS 实例)之间的点到点以太网连接。

如果您还不是 Megaport 客户,您可以在我们的全球 data centers/Points of Presence 中创建 10 Gbps、100 Gbps 或更高的 Port。如果您的公司不在我们的 PoPs 之一,您可以采购一条最后一公里电路到其中一个站点以连接到 Megaport。Contact Megaport 获取更多信息。

注意

如果您需要在不同位置创建 Port 以在物理上将该方案与穿越您 Ports 的其他现有流量分隔开,建议您在继续之前创建一个新的 Port

下图展示了通过单条连接在 AWS 上将 Megaport 与 Snowflake Data Warehousing 集成的高层拓扑图。

Megaport-Snowflake 在 AWS 上的架构

设置 Snowflake 环境

要设置 Snowflake 环境,您将:

  • 登录 Snowflake
  • 创建 Snowflake 对象
  • 将数据文件暂存
  • 将数据复制到目标表
  • 查询已加载的数据

有关在 AWS 环境中设置 Snowflake 的更多信息,请参见 Snowflake Prerequisites

为确保您的 Snowflake 方案与 VPC 之间的数据传输保持安全,您可以使用 AWS PrivateLink 将两个环境连接起来。PrivateLink 是一项 AWS 服务,使您能够在 AWS VPC 之间实施直接且安全的连接。这使您的数据保留在 AWS 基础架构内而不暴露到互联网,从而降低数据在互联网上传输所带来的一些安全风险。

注意

启用 AWS PrivateLink 最长可能需要 2 个工作日。有关为在 AWS 上的 Snowflake 方案启用 AWS PrivateLink 的更多信息,请参见 AWS PrivateLink & Snowflake

在 AWS 上将 Megaport 与 Snowflake 数据仓库集成

您可以使用 Megaport Portal 为在 AWS 上的 Snowflake 环境创建 VXC。

  1. Megaport Portal 中,转到 Services (服务) 页面并选择要使用的 Port。
    如果您尚未创建 Port,请参见 创建 Port

  2. 为该 Port 添加一个 AWS 连接。
    如果这是该 Port 的第一个连接,点击 AWS 卡片。该卡片是到配置页面的快捷方式。或者,点击 +Connection (添加连接),点击 Cloud (云),然后点击 AWS (亚马逊云科技)

  3. 对于 AWS Connection Type,点击 Hosted VIF (托管 VIF)Hosted Connection (托管连接),然后点击 Next (下一步)
    在此示例中,我们将点击 Hosted Connection (托管连接)
    Hosted Connection(托管连接)

  4. 接下来,您将创建一个新的 VXC。在 Select Destination Port 列表中,选择您的连接所需的 AWS 区域与互联点,然后点击 Next (下一步)
    您可以使用 Search (搜索) 字段查找目标 Port 的名称、国家、都会城市或地址。您也可以按多样性进行过滤
    新建连接

  5. 指定连接详情:

    • Connection Name (连接名称) – 将在 Megaport Portal 中显示的 VXC 名称。

    • Service Level Reference (服务级别参考) (可选) – 为您的 Megaport 服务指定一个用于计费用途的唯一标识编号,例如成本中心编号、客户唯一 ID 或采购订单编号。该服务级别参考编号会显示在发票的产品部分的每个服务下。您也可以为现有服务编辑此字段。

    • Rate Limit (速率限制) – 您的连接速率。您必须从提供的带宽选项中选择(Hosted VIF 为 50 Mbps 到数个 Gbps,Hosted Connection 最高可达 25 Gbps)。更高的速率可能会根据区域和能力而提供。到某个服务的所有托管虚拟 VXC 的总和可以超过 Port 容量(例如,10 Gbps、100 Gbps 或更高),但总吞吐不会超过 Port 容量。

    • VXC State (VXC 状态) – 选择 Enabled (已启用)Shut Down (关机) 来定义连接的初始状态。有关更多信息,请参见 关闭 VXC 以进行故障切换测试

      注意

      如果选择 Shut Down (关机),流量将不会通过此服务传输,并且其行为将与在 Megaport 网络上处于中断状态时相同。此服务的计费将保持活动,您仍将为此连接支付费用。

    • Preferred A-End VLAN (可选) (首选 A 端 VLAN(可选)) – 为该连接指定一个未使用的 VLAN ID。
      此 VLAN ID 必须在此 Port 上唯一,范围为 2 到 4093。如果您指定了已在使用的 VLAN ID,系统会显示下一个可用的 VLAN 号。VLAN ID 必须唯一才能继续下单。如果未指定值,Megaport 将分配一个。

      或者,您可以点击 Untag (去标签) 移除该连接的 VLAN 标记。选择无标签选项将使此 Port 上只能部署一个 VXC。

    • Minimum Term (最低合约期) – 选择 无最低合约期、12 个月、24 个月、36 个月、48 个月或 60 个月。期限越长,每月费率越低。12 个月 为默认选择。请注意屏幕上的信息,以避免提前终止费用(ETF)。

      对于合约期为 12、24、36、48 或 60 个月的服务,启用 最低合约期续订 选项,可在合约到期时以相同的折扣价格和合约期限自动续订。如果您不续签合约,在合约期结束时, 合约将在下一个计费周期自动转为按月合约,价格相同,但不含合约期折扣。

      有关更多信息,请参见 VXC 定价与合约条款VXC、Megaport Internet 与 IX 计费

    • Resource Tags (资源标签) – 您可以使用资源标签为 Megaport 服务添加您自己的参考元数据。
      要添加标签:

      1. 单击 Add Tags (添加标签)
      2. 单击 Add New Tag (添加新标签)
      3. 在各字段中输入详细信息:
        • Key (键) – 字符串最大长度 128。有效值为 a-z 0-9 _ : . / \ -
        • Value (值) – 字符串最大长度 256。有效值为 a-z A-Z 0-9 _ : . @ / + \ - (space)
      4. 单击 Save (保存)

      如果该服务已存在资源标签,您可以单击 Manage Tags (管理标签) 进行管理。

      警告

      切勿在资源标签中包含敏感信息。敏感信息包括会返回现有标签定义的命令,以及可识别个人或公司的信息。

    Snowflake 连接详情

  6. 点击 Next (下一步)

  7. 指定云详情:

    • AWS Connection Name (AWS 连接名称) – 这是一个文本字段,将作为出现在 AWS 控制台中的虚拟接口名称。为便于映射,建议使用与上一屏 VXC 名称相同的名称。
    • AWS Account ID (AWS 账户 ID) – 您要连接的账户 ID。您可以在 AWS 控制台的 Account Settings 部分找到该值。
      AWS 连接详情
  8. 点击 Next (下一步)

  9. 查看连接详情,然后点击 Add VXC (添加 VXC)
    连接详情摘要
  10. 点击 Review Order (审核订单)
    下单按钮
  11. 点击 Order Now (立即下单)
    您在 Megaport Portal 中的工作已完成。接下来,您将把新建的 VXC 连接到您的 AWS 环境。
  12. 约 2 分钟后,登录您的 AWS 账户。
    您创建的 VXC 将出现在 Direct Connect 的 Connections 下。
  13. 点击 Create connection (创建连接)
    然后,您需要连接到 Direct Connect Gateway。有关连接到各种类型网关的更多信息,请参见 Working with Direct Connect gateways - AWS Direct Connect创建连接

冗余

要在该方案的连接部分实现冗余,请在 AWS 环境中的另一台边缘路由器上建立一个额外的 VXC。按照 在 AWS 上将 Megaport 与 Snowflake 数据仓库集成 的步骤从第 3 步开始操作,并在选择 AWS 区域时选择备用的 Diversity Zone(由蓝色圆圈图标标识)。

注意

在 Megaport Portal 中标识的 Diversity Zones 仅指 AWS 边缘路由器的位置,而不是 AWS 基础架构内的可用区(Availability Zones)。

多样性区域

完成整个流程,包括在 AWS 控制台中的必要步骤。

下图展示了在 AWS 基础架构中,将 Megaport 与 Snowflake 数据仓库进行多路连接集成的高层拓扑图。

两个 VLAN 和一个 Port

为了在连接层面提供更多物理冗余,您可以在不同的 Ports 上部署这些 VXC:

两个 VLAN 和两个 Port

背景信息

Snowflake 是一项专为云而构建的 软件即服务 (SaaS)软件即服务 (SaaS) 是一种云计算形式,其中服务提供商向客户提供应用软件的使用,并管理该应用所使用的所有物理和软件资源。SaaS 有时也称为“按需软件”,通常按使用量计费或采用订阅费模式定价。
数据仓库服务。其基础架构构建在 AWS 云之上,可与您的 AWS VPC 环境和本地基础架构快速、简单地实施与集成。在 AWS 上的 Snowflake 环境中,您可以利用弹性与可伸缩性等优势,并且只需为您使用的资源付费。它在一个具有弹性和冗余的平台上提供元数据管理、数据安全以及符合 ANSI 的引擎,使您能够在一个位置存储、查询和分析所有数据。Snowflake 可在 AWS Marketplace 中获取;它与 AWS 直接提供的服务竞争,但能够以更低成本提供更多功能。我们建议您评估可用选项,以确定最符合您的业务需求。

有关 Snowflake 的更多信息,请参见以下链接:

为任何云而打造的现代云数据平台