博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
从S3中导入数据到Dynamodb
阅读量:5855 次
发布时间:2019-06-19

本文共 1924 字,大约阅读时间需要 6 分钟。

本节如果你已经从Dynamodb中导出过数据,而且导出的文件以及被存入S3。文件内部结构会在 中描写叙述。

我们称之前导出数据的原始表为source table,数据将要被导入的表为destination table。你能够将S3中的导出文件导入到dynamodb的表中。可是要先确保满足以下条件:
  • The destination table 已经存在。 (导入任务不会为你创建表)
  • The destination table 与 source table 有同样的名称。
  • The destination table 与 source table 有同样的结构。

Destination table不一定要是空的。然而,导入进程会替换掉表中有相同主键的数据。

比如,你有一个Customer 表,它的主键是CustomerId。而且仅仅有三个items (CustomerId 1, 2, and 3)。

假设要导入的文件里相同包括CustomerID 为1, 2, and 3的items。这些在destination table中的items将会被导入文件里的数据替换。假设文件里还包括CustomerId为4的item,那么这个item会被增加到

destination table中。
Destination table 能够在不同的AWS region。比如。如果你有个一个 Customer table在US West (Oregon) region,然后将它的数据导出到了Amazon S3中。你能够将它导入到在 EU (Ireland) region中有同样表明,同样主键的表中。这样的做法被称为 cross-region 导出和导入。

注意到AWS管理控制台同意你一次导出多个表的数据。可是,不同的是,你一次仅仅能导入一个表。
从S3导入数据到DynamoDB
  1. 登陆AWS管理控制台,然后打开dynamodb控制台: .
  2. (可选) 假设你想做块区域导入。点击右上角的Select a Region 然后选择要导入的表的区域。控制台会显示该区域下的全部表。

    假设destination table不存在的话。你须要先创建它。

  3. 在 Amazon DynamoDB Tables 页面, 点击 Export/Import.
  4. 在 Export/Import 页面,选择一个你要导入的表,然后点击 Import into DynamoDB.
  5. 在 Create Import Table Data Pipeline 页面,按以下步骤操作:
    1. S3 Input Folder 文本框中输入导入文件相应的 Amazon S3 URI。比如: s3://mybucket/exports这个URI的规则应该是这样 s3://bucketname/folder :
      • bucketname 是S3中bucket的名称
      • folder 表示存放要导入的文件的名称
    2. 导入任务会通过指定的S3位置找到相应的文件。文件内部结构会在 中描写叙述。
    3. S3 Log Folder 文本框中输入一个S3 URI,导出过程的日志将被存储在对应的folder中。比如:s3://mybucket/logs/
      S3 Log Folder URI的格式和 S3 Output Folder的格式同样。

    4. 在 Throughput Rate 文本框中可选择一个百分比。

      这个比率表示在导出过程中会消耗读吞吐量的上限。比如,如果你要导出的表的读吞吐量是20,同一时候你设置的百分比是40%。

      那么导出时所消耗的吞吐量将不会超过8.

      假设你在导出多个表。这个 Throughput Rate 将会被应用到每一个表中。

    5. Execution Timeout 文本框,输入导出任务的超时时长。假设导出任务在这个时长内还没运行完毕,此任务会失败。

    6. Send notifications to 文本框,输入一个email地址。在 pipeline被创建后。你将会收到一封email邀请订阅Amazon SNS。假设你接受了此邀请,在每次运行导出操作时你都将会收到email通知。

    7. Data Pipeline Role, 选择 DataPipelineDefaultRole.
    8. Resource Role, 选择 DataPipelineDefaultResourceRole
  6. 确认好以上设置然后点击 Create Export Pipeline.
你的 pipeline 如今将被创建;这个过程可能会花费几分钟完毕。

要查看当前状态。移步 .

导入任务会在你的pipeline创建好后马上运行。

转载地址:http://ioojx.baihongyu.com/

你可能感兴趣的文章
SVG path
查看>>
js判断checkbox是否选中
查看>>
【转】TabError:inconsistent use of tabs and spaces
查看>>
链路层
查看>>
多系统盘挂载
查看>>
MySQL函数怎么加锁_MYSQL 函数调用导致自动生成共享锁问题
查看>>
java map 写法_Java中List与Map初始化的一些写法
查看>>
python httpstr find_Python string.rfind方法代碼示例
查看>>
php怎么设置input大小,js实现input输入框点击变大缩小
查看>>
php 发布拼多多,拼多多补贴换增长的故事还能讲多久?
查看>>
matlab实现zca去白化,白化算法
查看>>
vs环境c++语言教学视频,基于VS Code的C++语言的构建调试环境搭建指南
查看>>
android mobile wifi,华为mobile wifi 2下载-HUAWEI Mobile WiFi 2 安卓版v9.0.1.323-PC6安卓网
查看>>
让动态创建的ActiveX控件响应Windows消息
查看>>
获取docker容器的ip地址
查看>>
[na]office 2010 2013卸载工具
查看>>
Dynamic Performance Tables not accessible Automatic Statistics Disabled for this session
查看>>
Lua 服务器与客户端实例(转)
查看>>
OkHttp3学习(一):基本使用
查看>>
AI+社交,快手商业化落地之道
查看>>