CloudFrontのログからGooglebotのIPを抽出

CloudFrontのログからGooglebotその他、User agentなどgrepで指定してIPを取得するときは、
gzファイルを解凍してできたログファイルを{LogFileName}に指定して実行。
IPの重複は出ないようにしてみました。

https://gist.github.com/AtsushiA/7ec99098124bd075475dbcb5b1771bc5

awkコマンドの重複排他は以下のサイトを参考にさせていただきました。
http://akiniwa.hatenablog.jp/entry/2014/04/04/203256

AWS CodeDeployで/scripts 以下を更新しても古いスクリプトが動く時の対策

GitHubからのフックで

appspec.yml
└── scripts
    └──start_server.sh
└── contents

scripts以下のスクリプトファイル(GitHub管理)を更新してPushしてもcontentsは更新されるが、前回CodeDeployで実行した時のスクリプトが実行されてしまうことがあったため、code-deploy agent以下にあるデプロイファイルを削除してから実行すると解消されました。

面倒なので”appspec.yml”のフック”ValidateService”で削除するスクリプトを呼び出して毎回クリアしたら今の所動いています。

scripts/clear_file.sh

rm -Rf /opt/codedeploy-agent/deployment-root/*

appspec.yml

  ValidateService:
    - location: scripts/clear_file.sh
      timeout: 300
      runas: root

※これが正しいか不明ですが今の所いけているのですが自信ないです。。。

フックポイントその他、ドキュメントメモ
app_hooks
http://docs.aws.amazon.com/ja_jp/codedeploy/latest/userguide/app-spec-ref.html

http://dev.classmethod.jp/cloud/aws/code-deploy-appspec/