AWS CLI Configuration

• VIệc đầu tiên cần kiểm tra xem máy của bạn đã được cấu hình AWS CLI chưa

aws configure list

• Bạn có thể cấu hình một profile mới như sau

aws configure

• Tạo một bucket trên S3

• Chuẩn bị file muốn upload

Use high-level aws s3 commands

• Để dùng high-level command cho multipart upload, có thể chạy lệnh sau

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/

• Khi bạn sử dụng lệnh aws s3 cp để tải lên một file vào Amazon S3, AWS CLI có thể tự quyết định xem có nên dùng multipart upload hay không, dựa vào kích thước của file và các cấu hình liên quan

• Tốc độ upload còn phụ thuộc vào tốc độ wifi nhưng nhìn chung là upload khá nhanh

• Để mã hoá file khi upload, có thể dùng lệnh sau

aws s3 cp large_test_file s3://DOC-EXAMPLE-BUCKET/ --metadata md5="examplemd5value1234/4Q"

• Để config max concurrent request, có thể chạy lệnh sau (mặc định là 10)

aws configure set default.s3.max_concurrent_requests 20

• Lưu ý: max_concurrent_requests càng nhiều thì trong quá trình upload sẽ tiêu hao nhiều băng thông và tài nguyên của máy chủ hơn

• Để biết thêm thông tin về cách định cấu hình AWS CLI với Amazon S3 thì hãy xem AWS CLI S3 configuration

• Ngoài lệnh copy, bạn cũng có thể sử dụng các lệnh AWS S3 khác liên quan đến việc tải object lên S3 như aws s3 sync hoặc aws s3 mv

• Để xem thêm các options khi copy, có thể dùng lệnh sau

aws s3 cp help

Use low-level aws s3api commands

1. Chia file bạn muốn tải lên thành nhiều phần

• Ubuntu: https://askubuntu.com/questions/54579/how-to-split-larger-files-into-smaller-parts

• MacOS

split -b fileSize path/to/filename

• Mình thử split một file hơn 20MB thì nó sẽ tự động sinh ra 5 files con với tên random như hình minh hoạ

2. Chạy lệnh sau để khởi tạo multipart upload và truy xuất liên kết với một UploadID, kết quả phản hồi có chứa UploadID value

aws s3api create-multipart-upload --bucket DOC-EXAMPLE-BUCKET --key large-test-file

3. Copy UploadID value để dùng cho các bước sau

4. Chạy lệnh sau để upload các files part đã split ở trên, kết quả phản hồi có chứa ETag value

aws s3api upload-part --bucket DOC-EXAMPLE-BUCKET --key large-test-file --part-number 1 --body large-test-file.001 --upload-id UploadID

5.    Copy ETag value để dùng cho bước sau

6. Lặp lại bước 4 & 5 đến khi upload hết các files part

7. Tạo một file fileparts.json với nội dung là ETag value của các part đã upload ở trên

{
  "Parts": [
    {
      "ETag": "example8be9a0268ebfb8b115d4c1fd3",
      "PartNumber":1
    },
    {
        "ETag": "example246e31ab807da6f62802c1ae8",
        "PartNumber":2
    }
  ]
}

8. Chạy lệnh sau để hoàn thành quá trình upload

aws s3api complete-multipart-upload --multipart-upload file://path/to/fileparts.json --bucket DOC-EXAMPLE-BUCKET --key large-test-file --upload-id UploadID

• Kết quả phản hồi sẽ có chứa Location value là url dẫn đến file trên S3 của bạn

{
    "ETag": "exampleae01633ff0af167d925cad279-2",
    "Bucket": "DOC-EXAMPLE-BUCKET",
    "Location": "https://DOC-EXAMPLE BUCKET.s3.amazonaws.com/large-test-file",
   
    "Key": "large-test-file"
}

Resolve upload failures

1. Chạy lệnh sau để xem tất cả multipart-upload chưa hoàn thành

aws s3api list-multipart-uploads --bucket DOC-EXAMPLE-BUCKET

{
  "Uploads": [
    {     
      "Initiator": {
        "DisplayName": "multipartmessage",
        "ID": "290xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      },
      "Initiated": "2016-03-31T06:13:15.000Z",
      "UploadId": "examplevQpHp7eHc_J5s9U.kzM3GAHeOJh1P8wVTmRqEVojxxu...",
      "StorageClass": "STANDARD", 
      "Key": "",
      "Owner": {
        "DisplayName": "multipartmessage",
        "ID": "290xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
      }
    }
  ]
}

2. Chạy lệnh sau để remove UploadID chưa hoàn thành

aws s3api abort-multipart-upload --bucket DOC-EXAMPLE-BUCKET --key Key --upload-id UploadID

Tài liệu tham khảo

• https://repost.aws/knowledge-center/s3-multipart-upload-cli

The post Upload File Lên Amazon S3: Dùng Multipart Upload vs AWS CLI appeared first on Tomoshare.

API Gateway,
Kinesis, 
DynamoDB, 
DynamoDB Streams, 
Elasticsearch, 
S3, 
Firehose, 
Lambda, 
SNS, 
SQS, 
Redshift, 
ES (Elasticsearch Service), 
SES, 
Route53, 
CloudFormation, 
CloudWatch, 
SSM, 
SecretsManager

# docker-compose.yml

version: "3.2"
services:
  localstack:
    image: localstack/localstack:latest
    container_name: localstack_demo
    ports:
      # - "127.0.0.1:4566:4566" # LocalStack Gateway
      - "127.0.0.1:4510-4559:4510-4559" # external services port range
      - "0.0.0.0:4566:4566"
    environment:
      - SERVICES=s3
      - DEBUG=1
      - DATA_DIR=/tmp/localstack/data
    volumes:
      - "./.localstack:/var/lib/localstack"
      - "/var/run/docker.sock:/var/run/docker.sock"

docker-compose up -d

aws configure --profile localstack
 
AWS Access Key ID [****************demo]: dummy
AWS Secret Access Key [****************demo]: dummy
Default region name [ap-northeast-1]: ap-northeast-1
Default output format [json]: json

Or

vi ~/.aws/config

[profile localstack]
output = json
region = ap-northeast-1

vi ~/.aws/credentials

[localstack]
aws_access_key_id = dummy
aws_secret_access_key = dummy

Tạo S3 trong Localstack:

aws --endpoint-url=http://localhost:4566 --profile localstack s3api create-bucket --bucket test-bucket --create-bucket-configuration LocationConstraint=ap-northeast-1

# Kết quả:
{
    "Location": "http://test-bucket.s3.localhost.localstack.cloud:4566/"
}

aws s3 ls --endpoint-url=http://localhost:4566 --profile localstack

# Kết quả:
2023-11-15 10:24:40 test-bucket

# .env

# Cả 2 endpoint đều hoạt động với Localstack ở local.
#S3_ENDPOINT='http://localhost:4566'
S3_ENDPOINT='http://test-bucket.s3.localhost.localstack.cloud:4566/'
S3_AWS_ACCESS_KEY_ID='dummy'
S3_AWS_SECRET_KEY='dummy'
S3_AWS_BUCKET_NAME='test-bucket'

Tạo Dynamodb trong Localstack:

version: "3.2"
services:
  localstack:
    image: localstack/localstack:latest
    container_name: localstack_demo
    ports:
      # - "127.0.0.1:4566:4566" # LocalStack Gateway
      - "127.0.0.1:4510-4559:4510-4559" # external services port range
      - "0.0.0.0:4566:4566"
    environment:
      - SERVICES=dynamodb
      - DEBUG=1
      - DATA_DIR=/tmp/localstack/data
    volumes:
      - "./.localstack:/var/lib/localstack"
      - "/var/run/docker.sock:/var/run/docker.sock"

aws dynamodb create-table \
    --table-name test \
    --key-schema AttributeName=id,KeyType=HASH \
    --attribute-definitions AttributeName=id,AttributeType=S \
    --billing-mode PAY_PER_REQUEST \
    --region ap-northeast-1 \
    --endpoint-url=http://localhost:4566 \
    --profile localstack

# Kết quả:
{
    "TableDescription": {
        "AttributeDefinitions": [
            {
                "AttributeName": "id",
                "AttributeType": "S"
            }
        ],
        "TableName": "test",
        "KeySchema": [
            {
                "AttributeName": "id",
                "KeyType": "HASH"
            }
        ],
        "TableStatus": "ACTIVE",
        "CreationDateTime": "2023-11-15T11:29:05.597000+07:00",
        "ProvisionedThroughput": {
            "LastIncreaseDateTime": "1970-01-01T07:00:00+07:00",
            "LastDecreaseDateTime": "1970-01-01T07:00:00+07:00",
            "NumberOfDecreasesToday": 0,
            "ReadCapacityUnits": 0,
            "WriteCapacityUnits": 0
        },
        "TableSizeBytes": 0,
        "ItemCount": 0,
        "TableArn": "arn:aws:dynamodb:ap-northeast-1:000000000000:table/test",
        "TableId": "fb25d41f-0563-4be9-8b21-75bc3b7006b9",
        "BillingModeSummary": {
            "BillingMode": "PAY_PER_REQUEST",
            "LastUpdateToPayPerRequestDateTime": "2023-11-15T11:29:05.597000+07:00"
        }
    }
}

Bạn muốn sử dụng dịch vụ nào của AWS thì thêm dịch vụ đấy vào SERVICES trong file docker-compose.yml.

Tài liệu tham khảo: https://docs.localstack.cloud/

The post Localstack, giả lập môi trường AWS. appeared first on Tomoshare.

1, Minio là gi?

High Performance Object Storage
for Modern Data Lakes

MinIO is a high-performance, S3 compatible object store. It is built for
large scale AI/ML, data lake and database workloads. It is software-defined
and runs on any cloud or on-premises infrastructure. MinIO is dual-licensed
under open source GNU AGPL v3 and a commercial enterprise license.

để ngắn gọn hơn thì: Minio giống như dịch vụ AWS S3, nhưng được host local.

Minio là một object storage server được implement những public API giống như AWS S3. Điều đó có nghĩa là những ứng dụng có thể config để giao tiếp với Minio thì cũng có thể giao tiếp với AWS S3. Là một server lưu trữ object nên có thể được sử dụng để lưu trữ những unstructured data như ảnh, video, log files, backups và container/VM images. Dung lượng của 1 object có thể dao động từ một vài KB tới tối đa là 5TB. File cũng được gom lại trong 1 buckets, nó là được chỉ cùng với access key khi dùng app. Đây là giao diện của minio:

2, Setup đơn giản

Minio có các gói docker được cài sẵn và có thể cài trực tiếp. ở đây mình sẽ chia sẽ cách cài trực tiếp với Ubuntu

Lệnh cài minio server

wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio_20231007150738.0.0_amd64.deb -O minio.deb
sudo dpkg -i minio.deb

kiểm tra minio đã được cài hay chưa

which minio   
### /usr/local/bin/minio 

Run minio. chạy lệnh sau để run minio trên máy local. có thể thay thế thư mục tùy theo ý minh

mkdir ~/minio #thư mục lưu trữ 
minio server ~/minio --console-address :9001

kết quả

3, config với rails

thêm config này vào file storage.yml

minio:
  service: S3
  access_key_id: <%= ENV['MINIO_USER'] %>
  secret_access_key: <%= ENV['MINIO_PASSWORD'] %>
  region: us-east-1
  bucket: xxxx
  endpoint: <%= ENV['MINIO_ENPOINT'] %>
  force_path_style: true

thêm config này vào enviroments

config.active_storage.service = :minio

Như vậy là có thể upload và quản lí file với minio!!!

Tiếp đến là tạo một views upload đơn giản rồi chạy rails s và xem kết quả 

 Happy coding !

The post Tích hợp Minio với Rails app appeared first on Tomoshare.