DocBaseでサービスを利用できない障害が発生しました 2017/10/4 2017年10月4日に2つの障害が発生いたしました。 復旧までに時間がかかってしまい、申し訳ありませんでした。 ### 障害 1. サイトトップである、https://docbase.io が表示されない問題が発生 1. チーム毎のDocBase (https://xxx.docbase.io) にアクセスすると、500エラーが発生 ## 障害1:https://docbase.io が表示されない問題 ### 発生時期 2017年10月4日15時45分 ### 発生原因と状況 インフラ設定作業中にDNSの設定ミス ### 対応状況 1. 障害の判明 - 2017年10月4日 16時5分 1. 復旧完了 - 2017年10月4日 16時20分 ## 障害2:チーム毎のDocBaseにアクセスすると、500エラーが発生 ### 発生時期 2017年10月4日16時30分 ### 発生原因 Amazon Elasticsearch Service のレスポンスが変更になり、DocBaseサーバ内で500エラー #### 詳細 RailsからAmazon Elasticsearch Serviceを利用するにあたって、elasticsearch-railsというgemを利用しています。elasticsearch-railsは内部でHTTPクライアントライブラリであるfaradayを利用しています。 faradayは標準で`Accept-Encoding: gzip`が指定されていますが、これまでは、Amazon Elasticsearch Serviceに `Accept-Encoding: gzip` を指定しても gzip形式では返ってこなかったのですが、正しくgzip形式で返るようになったようです。(AWSが正しい挙動となりました。) Amazon Elasticsearch Serviceは正しい挙動になりましたが、ライブラリ側にgzipを有効にする設定が必要になったため、500エラーとなってしまったようです。 ### 対応状況 1. 障害の判明 - 2017年10月4日 16時30分 1. 一部機能の復旧 - 2017年10月4日 18時20分 - 一時的に Amazon Elasticsearch Service を利用しないように改修 1. 復旧完了 - 2017年10月4日 18時47分 ### 今後の対策 障害1については、人的ミスであるため、DNS運用の見直しをいたします。 障害2については、対策が難しい問題ではありますが障害発生から復旧までのスムーズな対応ができるように改善いたします。 ---- 皆さまには多大なるご迷惑をおかけしてしまい、まことに申し訳ありません。 これからも改善を続けていきますので、どうぞよろしくお願いいたします。