AutoScale×ゲーム ~運用効率化への取り組み~

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.
ゲーム事業本部恋愛ゲームチーム藤原涼!
ゲームインフラチーム本田恭!
2014年07月18日
AutoScale × ゲーム
∼運用効率化への取り組み∼

運用効率化に向けたAWS導入背景から運用のお話
AWSをさらに活用するための技術的なお話
∼後半∼
∼前半∼
Agenda

１：アバター合成サーバの負荷対策
２：ログ収集の効率化
３：まとめ
Agenda
∼後半∼

自己紹介
本田恭 (ほんだたかし)
- 2012年新卒入社 (3年目)
- Twitter @Altsencturely
好きなAWSのサービス
- S3

アバター合成サーバの
負荷対策

恋愛ソーシャルゲームとは
アバターなどを
着せ替えて可愛く
コーディネイトできる

アバター画像の基本的な仕組み

ある
画像のレスポンス
ない
画像のレスポンス
画像の存在確認画像の存在確認
画像の生成
(ImageMagick)

これまでの環境

Image Image Image
NAS

サーバ間で同じ画像は作成されない

AWSのAutoScale運用を行う場合

Image Image Image
S3
AWSの場合1

AWSの場合1
・S3のマウント先への書き込みに時間がかかる
・サーバ高負荷時にマウントが外れる

AWSの場合1
・
・サーバ高負荷時にマウントが外れる
S3のマウントはNASの様にいかない

画像A
画像Aリクエスト
画像Aが
ないので作成
AWSの場合2
Image Image
Image LoadBarancer
1 2

画像を余分に作成することの問題点
CPUロードアベレージ
サーバを増やしても負荷が減らない

画像を余分に作成することの問題点
安定運用できない

アバター合成サーバの安定運用
¦¦
合成の回数を減らす
安定運用のために

サーバ間で画像ファイルを共有
アバター合成サーバの安定運用
¦¦
合成の回数を減らす
安定運用のために

http://shoreditchworks.com/sw/wp-content/uploads/2013/10/orange-ant-glusterfs.png

マスターレスな分散ファイルシステム
GlusterFSとは

マスターレスとは
特定のサーバに依存しないクラスタ構成

nodeA
nodeB nodeC
GlusterFS-Cluster
ノード間で同期

nodeA
nodeB nodeC
GlusterFS-Cluster
ノード間で同期
単一障害点が存在しない

1. ルート以外のパーティションでEBSをマウント
2. GlusterFSのクラスタ構築 (peer probe)
3. ファイルシステムを構築
4. 作成したファイルシステムをマウント
AWS上でGlusterFSの構築手順

nodeA
172.31.0.1
nodeB
172.31.0.2
nodeC
172.31.0.3
クラスタ構築
GlusterFS-Cluster

nodeA
172.31.0.1
nodeB
172.31.0.2
nodeC
172.31.0.3
追加
peer probe
クラスタ構築
GlusterFS-Cluster

nodeA
172.31.0.1
nodeB
172.31.0.2
nodeC
172.31.0.3
追加
peer probe
クラスタのメンバが追加する
クラスタ構築
GlusterFS-Cluster

GlusterFSのクラスタのメンバ(nodeAまたはnodeB)が
メンバ追加コマンドを実行
# gluster peer probe nodeC
または
# gluster peer probe 172.31.0.3
peer probeの違い

Number of Peers: 2
!
Hostname: nodeB
Uuid: xxxxxxxx-xxxx-xxxx
State: Peer in Cluster (Connected)
!
Hostname: nodeC
# gluster peer status
peer probeの違い
Number of Peers: 2
!
Hostname: 172.31.0.2
!
Hostname: 172.31.0.3

AWSだとIPが自動で割り当てられる
AutoScale時のpeer probe

サーバを一意に特定できるホスト名の方が管理しやすい

# gluster peer probe HOSTNAME
サーバを一意に特定できるホスト名の方が管理しやすい

1. GlusterFSのクラスタの生きているノードが
クラスタに追加
2. IPアドレスではなくホスト名を使用
GlusterFS構築の注意点

AutoScaleに対応させるためには

1. GlusterFSのクラスタの生きているノードの自動判別
2. クラスタ内での自動名前解決
GlusterFSのAutoScale対応

nodeA
172.31.0.1
nodeB
172.31.0.2
nodeC
172.31.0.3
追加
peer probe
クラスタの自動構築
GlusterFS-Cluster

nodeA
172.31.0.1
nodeB
172.31.0.2
nodeC
172.31.0.3
1. SSH
GlusterFS-Cluster

nodeA
172.31.0.1
nodeB
172.31.0.2
nodeC
172.31.0.3
1. SSH
2. peer probe
GlusterFS-Cluster

GlusterFSのAutoScale対応
1. GlusterFSのクラスタの生きているノードの自動判別

案1 GlusterFSのステータスを使う

Number of Peers: 2
!
Hostname: nodeB
!
Hostname: nodeC
# gluster peer status
GlusterFSのステータスを使う

・・・
GlusterFSのステータスを使う
gluster-peer-status
nodeB?
nodeC?
ホスト名がわからない

案1 GlusterFSのステータスを使う
名前解決されていないため構築できない

案2 AWS APIを使う

・・・
1. 情報取得
AWS API
http://cdn.blog.celingest.com/wp-content/uploads/2013/09/aws-s3-512x215.png

・・・
2. SSH
AWS API

・・・
3. 情報取得
AWS API

peer probe
・・・
AWS API

・・・
AWS API
名前解決出来ていない

不完全なクラスタが構築される
案2 AWS APIを使う

• Chef Server API
!
• Zabbix API
!
• 内部DNS
その他の案
http://recipe.kc-cloud.jp/wp-content/uploads/2013/04/20130405_02_01.gif

単一障害点を作ってしまう

1. GlusterFS
自動判別
GlusterFS
GlusterFSのクラスタ内で完結

S E R F
http://pocketstudio.jp.s3.amazonaws.com/log3/wp-content/uploads/2013/11/serf-logo.png

マスターレスなクラスタ構成
ゴシッププロトコル
Serfとは

$ serf join nodeA
Serfのクラスタ
nodeA
172.31.0.1
nodeB
172.31.0.2
nodeC
172.31.0.3
Serf-Cluster

Serfのクラスタ
nodeA
172.31.0.1
nodeB
172.31.0.2
nodeC
172.31.0.3
自分からクラスタに参加できる
Serf-Cluster
$ serf join nodeA

Serf-Cluster
member-join
nodeA nodeB nodeC
ゴシッププロトコルとは

Serf-Cluster
nodeA nodeB nodeC
member-join

Serf-Cluster
nodeA nodeB nodeC

Serf-Cluster
nodeA nodeB nodeC
伝播して同じ状態に

クラスタ内の名前解決を自動化

クラスタメンバ情報で生存確認
$ serf members
nodeA 172.31.0.1:7946 alive
nodeB 172.31.0.2:7946 alive
nodeC 172.31.0.3:7946 alive
Serfで自動名前解決

Serfで自動名前解決
member-join
$ serf members
nodeA 172.31.0.1:7946 alive
nodeB 172.31.0.2:7946 alive
nodeC 172.31.0.3:7946 alive
/etc/hosts

/etc/hosts
member-join
$ serf members
nodeA 172.31.0.1:7946 alive
nodeB 172.31.0.2:7946 alive
nodeC 172.31.0.3:7946 alive
クラスタ内の名前解決の自動化
Serfの便利な点

Serfのクラスタをマスターレスに構築

serf-members
172.31.0.1 172.31.0.2
172.31.0.3 172.31.0.4
http://s3-blog.the-new-it.com.s3.amazonaws.com/wp-content/uploads/2014/01/WPandS3Logos.png
Serfのクラスタをマスターレス

172.31.0.1 172.31.0.2
172.31.0.3 172.31.0.4
serf-members
serf-members
nodeA 172.31.0.1:7946 alive
nodeB 172.31.0.2:7946 alive
nodeC 172.31.0.3:7946 alive
nodeD 172.31.0.4:7946 failed

172.31.0.1 172.31.0.2
172.31.0.3 172.31.0.4
$ serf join nodeA

172.31.0.1 172.31.0.2
172.31.0.3 172.31.0.4
$ serf join nodeA
マスターレスにクラスタ構築

S3の耐障害性
!
最大 99.999999999% の耐久性と 99.99% の可用性
安定してどこからでも使える
S3を使う理由

Serf × S3

クラスタの名前解決
クラスタの追加/削除時に/etc/hostsが
修正されメンバ間は名前解決可能

GlusterFSのAutoScale対応の仕組み

Serf-Cluster
nodeA nodeB nodeC
GlusterFS-Cluster

nodeA nodeB nodeC
serf-members
Serf-Cluster

Serf-Cluster
serf-members
nodeA 172.31.0.1:7946 alive
nodeB 172.31.0.2:7946 alive
nodeA nodeB nodeC
$ serf join nodeB

Serf-Cluster
member-joinmember-joinmember-join
nodeA nodeB nodeC

nodeA nodeB nodeC
GlusterFS-Cluster
Serf-Cluster

nodeA nodeB nodeC
1. SSH
2. peer probe
GlusterFS-Cluster
Serf-Cluster

nodeA nodeB nodeC
serf-members
GlusterFS-Cluster

GlusterFSのマスターレスな構築

GlusterFS × Serf × S3
http://www.gluster.org/images/antmascot.png

AutoScaleに対応
GlusterFSの導入
Webサーバと同じ様にスケールアウト
ファイル共有により無駄なアバター合成
削減し負荷の軽減

ログ収集の効率化

http://excalemedia.s3.amazonaws.com/wp-content/uploads/2014/02/ﬂuentd2.png

なぜFluentdを使うの?
AutoScaleだと
サーバが削除された時ログも消える

Fluentdの運用を出来るだけ楽に
!
中継サーバのリソースを十分に使う
Fluentdの要件

分析用VPCタイトル毎のVPC
Server
Redshift
Elasticsearch
Fluentd Fluentd Fluentd Fluentd
Server Server Server

Redshift
Elasticsearch
Fluentd
中継
Fluentd
中継
Server Server Server Server

Redshift
Elasticsearch
分析用VPCタイトル毎の
Fluentd
中継
Fluentd
中継

https://blog.linode.com/wp-content/uploads/2014/01/docker.png

Redshift
Elasticsearch
Fluentd
中継
Fluentd
中継

分析用VPCタイトル毎の
Fluentd
中継
Fluentd
中継
Fluentd
中継
Fluentd
中継

Redshift
Elasticsearch
Fluentd
中継
Fluentd
中継
Fluentd
中継
Fluentd
中継

Fluentd × Docker × Jenkins

運用効率化
リソースの活用
JenkinsでFluentdの増減を管理
中継サーバのリソースを無駄なく利用

http://tctechcrunch2011.ﬁles.wordpress.com/2010/07/github-logo.png
Chef
Serverspec
Docker
JMeter
JMeter
負荷
Vagrant
JMeter

まとめ

AWSの価値とは

AWSの機能を使えばやりたいことが簡単にすぐに導入できる
試験的・部分的な利用から本番運用まで
幅広い利用をサポート

APIを使って自分たちの体制に合わせて最適化可能
海外等の普段手が回らない部分までカバー
運用コスト削減

すべての開発者が、
するキモチのような
心やすまる運用を。
AWSが私達にくれたもの

AutoScale×ゲーム ~運用効率化への取り組み~

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AutoScale×ゲーム ~運用効率化への取り組み~

Similar to AutoScale×ゲーム ~運用効率化への取り組み~ (20)

AutoScale×ゲーム ~運用効率化への取り組み~