RailsでN + 1の環境を再現する Part 1

version: "3.8"

services:
  app:
    build:
      # dockerfileが含まれるディレクトリへのパス
      context: ./backend
    env_file: .env.development
    healthcheck:
      # ヘルスチェック方法
      # railsが起動しているかを確認している
      # 前者のコマンドが失敗した時だけ、後ろのコマンドが実行される
      # exit 1はプログラムが異常終了したことを表すコマンド
      test: "curl -f http://localhost:3000/robots.txt || exit 1"
      # ヘルスチェックの間隔
      interval: 5s
      # リトライ回数
      # コンテナを起動した直後は、コンテナはstarting状態になっている
      # 指定した間隔でヘルスチェックを実行して、1回でもチェックに成功すれば、
      # コンテナはhealthy状態になる。retriesの回数失敗すれば、コンテナはunhealthy状態になる
      retries: 10
    ports:
      - 3000:3000
    volumes:
      - ./backend:/var/app:cached
      # tmpディレクトリには、キャッシュやpidなどの一時ファイルが置かれます。
      - rails-tmp-data:/var/app/tmp:delegated
      # デフォルトでは、/usr/local/bundleにgemがインストールされる
      - bundle-data:/usr/local/bundle:delegated
    depends_on:
      mysql:
        # 依存サービスのヘルスチェックがパスするまで待つ
        # 「サービスが開始する」ことと「他のサービスからのアクセスを受け付けられる」ことは異なるということです。
        # 例えば、MySQL や PostgreSQL などはプロセス開始直後からすぐにクエリを実行できるわけではありません。
        # プロセス開始後に起動処理が実行されクエリを受け付けることができる状態になるまでに少なくとも数秒かかると思います。
        # service_started はサービスが開始されるのを待つだけなので、「他のサービスからのアクセスを受け付けられる」状態になっているかどうかは保証しません。
        # service_healthy は適切なヘルスチェックを行うことにより「他のサービスからのアクセスを受け付けられる」状態になるまでそれに依存しているサービスは起動を待ちます。
        condition: service_healthy
  mysql:
    image: mysql:8.0
    environment:
      MYSQL_ROOT_PASSWORD: ""
      MYSQL_ALLOW_EMPTY_PASSWORD: "yes"
    healthcheck:
      # -h localhostはMySQLサーバーがローカルホスト上にあることを指定している。
      test: ["CMD", "mysqladmin", "ping", "-h", "localhost"]
      interval: 5s
      start_period: 5s
    ports:
      - 3306:3306
    volumes:
      - mysql-data:/var/lib/mysql:delegated

volumes:
  rails-tmp-data:
  bundle-data:
  mysql-data:

ENV TZ Asia/Tokyo

docker compose exec app bash
bash-5.1# env
CHARSET=UTF-8
HOSTNAME=499bb790041d
REDIS_HOST=redis
RUBY_DOWNLOAD_SHA256=ca10d017f8a1b6d247556622c841fc56b90c03b1803f87198da1e4fd3ec3bf2a
API_ORIGIN=http://app:3000
RUBY_VERSION=3.1.2
PWD=/var/app
BUNDLE_APP_CONFIG=/usr/local/bundle
RUBY_MAJOR=3.1
TZ=Asia/Tokyo
APP_HOME=/var/app
HOME=/root
LANG=C.UTF-8
BUNDLE_SILENCE_ROOT_WARNING=1
SCHEME=http
MYSQL_HOST=mysql
GEM_HOME=/usr/local/bundle
TERM=xterm
SHLVL=1
LC_COLLATE=C
PATH=/usr/local/bundle/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
SMTP_HOST=mail-catcher
_=/usr/bin/env
bash-5.1# date
Sun Dec 10 02:28:50 JST 2023
bash-5.1#

module NPlusOne
  class Application < Rails::Application
    # Initialize configuration defaults for originally generated Rails version.
    config.load_defaults 7.0

    # Settings in config/environments/* take precedence over those specified here.
    # Application configuration can go into files in config/initializers
    # -- all .rb files in that directory are automatically loaded after loading
    # the framework and any gems in your application.

    # Only loads a smaller set of middleware suitable for API only apps.
    # Middleware like session, flash, cookies can be added back manually.
    # Skip views, helpers and assets when generating a new resource.
    config.api_only = true

    # Railsのアプリケーション上で表示したい時間の基準となるタイムゾーンを指定する
    # このタイムゾーンはOSとは独立している。
    # しかし基本的にはアプリケーションのタイムゾーンはOSのタイムゾーンと合わせておくのが安全。。
    config.time_zone = "Tokyo"

    # config.active_record.default_timezoneはデフォルトでutc
    # config.active_record.default_timezoneは、DBのタイムゾーンと一致させておけばOK
  end
end

bash-5.1# rails c
Calling `DidYouMean::SPELL_CHECKERS.merge!(error_name => spell_checker)' has been deprecated. Please call `DidYouMean.correct_error(error_name, spell_checker)' instead.
Loading development environment (Rails 7.0.8)
irb(main):001> Time.current
=> Sun, 10 Dec 2023 03:42:22.720175159 JST +09:00

docker compose exec mysql bash
bash-4.4# mysql -u root -@
mysql: [ERROR] mysql: unknown option '-@'.
bash-4.4# mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 89
Server version: 8.0.33 MySQL Community Server - GPL

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select current_timestamp;
+---------------------+
| current_timestamp   |
+---------------------+
| 2023-12-09 18:48:20 |
+---------------------+
1 row in set (0.00 sec)

mysql>

mysql> show variables like "%time_zone%";
+------------------+--------+
| Variable_name    | Value  |
+------------------+--------+
| system_time_zone | UTC    |
| time_zone        | SYSTEM |
+------------------+--------+
2 rows in set (0.02 sec)

bash-5.1# curl -i localhost:3000/robots.txt
HTTP/1.1 200 OK
Last-Modified: Fri, 08 Dec 2023 14:10:48 GMT
Content-Type: text/plain
Content-Length: 99

# See https://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file
bash-5.1#

curl -i localhost:3000/robots.txt
curl: (52) Empty reply from server

#!/bin/sh

# set -eを追加することで、シェルスクリプト内でエラーが発生した時に、
# プログラムが終了する
# uオプションは、未定義の変数が使用された場合にエラーを出すように設定します。つまり、未定義の変数を使おうとするとスクリプトが中断されます。
set -eu

cd $APP_HOME

bundle i

if [ -e ./tmp/pids/server.pid ]; then
  rm ./tmp/pids/server.pid
fi

# bundle exec rails s -b 0.0.0.0
bundle exec rails s

curl -i localhost:3000/robots.txt
HTTP/1.1 200 OK
Last-Modified: Fri, 08 Dec 2023 14:10:48 GMT
Content-Type: text/plain
Content-Length: 99

# See https://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file

irb(main):001:0> __dir__
=> "."
irb(main):002:0> File.expand_path("schemas/*.rb", __dir__)
=> "/Users/yuuki_haga/repos/learning/rails/rails-n-plus-1/src/n_plus_one/backend/db/schemas/*.rb"
irb(main):003:0> file_path = File.expand_path("schemas/*.rb", __dir__)
irb(main):004:0> file_path
=> "/Users/yuuki_haga/repos/learning/rails/rails-n-plus-1/src/n_plus_one/backend/db/schemas/*.rb"
irb(main):005:0> Dir.glob(file_path)
=> ["/Users/yuuki_haga/repos/learning/rails/rails-n-plus-1/src/n_plus_one/backend/db/schemas/customers.rb", "/Users/yuuki_haga/repos/learning/rails/rails-n-plus-1/src/n_plus_one/backend/db/schemas/authors.rb", "/Users/yuuki_haga/repos/learning/rails/rails-n-plus-1/src/n_plus_one/backend/db/schemas/books.rb", "/Users/yuuki_haga/repos/learning/rails/rails-n-plus-1/src/n_plus_one/backend/db/schemas/reviews.rb"]
irb(main):006:0> exit

rails -T

docker-compose exec app rails g task greet
Calling `DidYouMean::SPELL_CHECKERS.merge!(error_name => spell_checker)' has been deprecated. Please call `DidYouMean.correct_error(error_name, spell_checker)' instead.
      create  lib/tasks/greet.rake

# サンプルで作ったRakeタスク
namespace :greet do
  # descはタスクの説明
  desc "Say hello"

  # taskの後ろにはタスク名を書く
  task :say_hello do
    puts "Hello hoge"
  end
end

docker-compose exec app rails greet:say_hello
Calling `DidYouMean::SPELL_CHECKERS.merge!(error_name => spell_checker)' has been deprecated. Please call `DidYouMean.correct_error(error_name, spell_checker)' instead.
Hello hoge

puts Rails.root # => /var/app
puts Rails.root.to_s # => /var/app

    conf_file = Rails.root.join("config/database.yml").to_s # => /var/app/config/database.yml

    sh("ridgepole", *options)

 [ridgepole --apply --config /var/app/config/database.yml --file /var/app/db/Schemafile --env development]

  # t.referencesのメリット
  # 1. userではなくuser_idというカラム名を作成してくれる
  # 2. インデックスを自動で張ってくれる
  # しかし、外部キー制約(foreign_key: true)は自分でつける必要がある
  # reviewsテーブルのcustomer_idは同じ値が入ってもよい。入っちゃダメなら。ユニークインデックスにする
  t.references :customer, unsigned: true, foreign_key: { on_delete: :cascade }

  t.references :customer, unsigned: true, foreign_key: { on_delete: :cascade }

ENV['hoge']                   // 'hoge'という環境変数が存在しないと、nilが返ってくる
ENV['hoge'] || 'default'      // 存在しない場合のデフォルト値を設定できる
ENV.fetch('hoge', 'default')  // fetchを使うと、引数でデフォルト値を設定できる

# Add your own tasks in files placed in lib/tasks ending in .rake,
# for example lib/tasks/capistrano.rake, and they will automatically be available to Rake.

require_relative 'config/application'

# この一行でRailsとlib/tasks配下のRakeタスクが追加される
Rails.application.load_tasks
# db:migrate を実行するたびに自動的に注釈をつけるためには、
# rails g annotate:install を実行するか、Rakefile に Annotate.load_tasks を追加してください。
# この一行を追加すると、以下のRakeタスクが登録される(rails -Tで見れる)
# rake annotate_models                          # Add schema information (as comments) to model and fixture files
# rake annotate_routes                          # Adds the route map to routes.rb
# rake remove_annotation                        # Remove schema information from model and fixture files
Annotate.load_tasks if defined?(Annotate)

namespace :ridgepole do
  desc "ridgepole apply"
  task :apply do
    environment = ENV["RAILS_ENV"] || "development"
    # Rails.root.to_sでプロジェクトルートパスを取得できる
    # puts Rails.root # => /var/app
    # puts Rails.root.to_s # => /var/app

    conf_file = Rails.root.join("config/database.yml").to_s # => /var/app/config/database.yml
    schema_file = Rails.root.join("db/Schemafile").to_s

    options = [
      "--apply",
      ["--config", conf_file],
      ["--file", schema_file],
      ["--env", environment],
    ].flatten

    # p options
    # => ["--apply", "--config", "/var/app/config/database.yml", "--file", "/var/app/db/Schemafile", "--env", "development"]

    # コマンドを実行する
    sh("ridgepole", *options)

    # Rails.envでRailsの環境を確認できる
    # あるRakeタスクから別のRakeタスクを実行する必要がある場合、以下のような書き方をする
    # db:schema:dumpを実行することで、データベースの最新の状態をもとにschema.rbを更新する。
    Rake::Task["db:schema:dump"].invoke if Rails.env.development?
    # defined?は引数として入れた変数やメソッドが定義済みであれば式の種別を表す文字列を返す。未定義であればnilを返す。
    # defined?は、変数が定義されているかを確認するために使う
    Rake::Task["annotate_models"].invoke if defined?(Annotate) && Rails.env.development?
  end
end

1. まず、データベースを作る。database.ymlをもとにデータベースの設定を書いて、db:createを実行。環境ごとのデータベースが作れる。
2. マイグレーションファイルを作る
3. db:migrateでマイグレーションを実行。もしマイグレーションが成功したなら、db:schema:dumpを自動で実行して、現在のデータベースの内容をもとに、schema.rbを更新する。

1. Schemafileを解読してスキーマを表すHashオブジェクトを作成する。
2. -c/--configで指定したDBの設定ファイル(database.yml)にしたがってDBからスキーマのダンプを取得。同様にスキーマを表すHashオブジェクトを作る。
3. その2つのHashオブジェクトを比較し、差分を表すHashオブジェクトを計算する。
4. その差分を表すHashオブジェクトからActiveRecordが理解できる add_column などに改めて置き換え、ActiveRecordに渡す。
5. ActiveRecordのMySQLのアダプタがMySQL用のSQLに置き換え、実行する。

namespace :ridgepole do
  desc "ridgepole apply"
  task :apply do
    environment = ENV["RAILS_ENV"] || "development"
    # Rails.root.to_sでプロジェクトルートパスを取得できる
    conf_file = Rails.root.join("config/database.yml").to_s # => /var/app/config/database.yml
    schema_file = Rails.root.join("db/Schemafile").to_s

    options = [
      "--apply",
      ["--config", conf_file],
      ["--file", schema_file],
      ["--env", environment],
    ].flatten

    # コマンドを実行する
    sh("ridgepole", *options)

    # あるRakeタスクから別のRakeタスクを実行する必要がある場合、以下のような書き方をする
    # db:schema:dumpを実行することで、データベースの最新の状態をもとにschema.rbを更新する。
    Rake::Task["db:schema:dump"].invoke if Rails.env.development?
    Rake::Task["annotate_models"].invoke if defined?(Annotate) && Rails.env.development?
  end
end

migrate:
  docker-compose exec app rails ridgepole:apply

# Checks for pending migrations and applies them before tests are run.
# If you are not using ActiveRecord, you can remove these lines.
begin
  ActiveRecord::Migration.maintain_test_schema!
rescue ActiveRecord::PendingMigrationError => e
  abort e.to_s.strip
end

RSpec.configure do |config|
  config.expect_with :rspec do |expectations|
    expectations.include_chain_clauses_in_custom_matcher_descriptions = true
  end

  config.mock_with :rspec do |mocks|
    mocks.verify_partial_doubles = true
  end

  config.shared_context_metadata_behavior = :apply_to_host_groups

  config.filter_run_when_matching :focus

  # itメソッド中に複数expectがあるときにどこかでexpectが失敗した場合、後続するexpect群はテスト実行されない。
  # 後続も実行したいときはaggregate_failuresオプションを追加します
  # これを設定しないと、最初のものでパスしないと2つめも結果は期待どおりなのか、どうなのかわからない。
  config.define_derived_metadata do |meta|
    meta[:aggregate_failures] = true
  end
end

# Rackミドルウェアは以下のインタフェースを満たす必要がある
# 1. initializeメソッドに引数を1つ取る
# 2. Rackアプリケーションと同じインターフェースのcallメソッドを用意する

class SimpleMiddleware
  attr_reader :app

  def initialize(app)
    puts "*" * 50
    puts "* #{self.class} initialize(app = #{app.class})"
    puts "*" * 50
    @app = app
  end

  # ミドルウェアはinitializeで後続として処理していくアプリケーションまたはミドルウェアのオブジェクトを受け取り
  # 自身のcallメソッドが呼ばれた時に、initializeで受け取ったオブジェクトのcallメソッドを呼ぶことで
  # 後続の処理を行っている
  # Rackアプリケーションの後に特定の処理をしたいなら、app.callが呼ばれた後に実行すれば良いってことか
  # やっぱ玉ねぎみたいな感じか。callが呼ばれた時に、その層での処理が一旦ストップするからか。

  # リクエストを受け取ると、Rackミドルウェア・Rackアプリケーションのcallメソッドを呼び出しながら、
  # リクエストデータに基づく処理を行う。中心に位置するRackアプリケーションまで到達すると、
  # callメソッドの戻り値を使ってレスポンスデータを返しながら、各層でレスポンスデータに対する処理を行い
  # クライアントに返すレスポンスデータを決定する
  def call(env)
    status, headers, body = app.call(env)
    puts "*" * 50
    puts "* #{self.class} call(body = #{body})"
    puts "*" * 50
    [status, headers, body]
  end
end

# Rackライブラリを読み込むことで、runメソッドが使用できるようになる
# runメソッドには、Rackアプリケーションのインスタンスをわたす
require "rack"
require_relative "src/sample_app"
require_relative "src/lib/middlewares/simple_middleware"

use Rack::Runtime
use SimpleMiddleware
run SampleApp.new

docker compose exec app rails middleware
Calling `DidYouMean::SPELL_CHECKERS.merge!(error_name => spell_checker)' has been deprecated. Please call `DidYouMean.correct_error(error_name, spell_checker)' instead.
use ActionDispatch::HostAuthorization
use Rack::Sendfile
use ActionDispatch::Static
use ActionDispatch::Executor
use ActiveSupport::Cache::Strategy::LocalCache::Middleware
use Rack::Runtime
use ActionDispatch::RequestId
use ActionDispatch::RemoteIp
use Rails::Rack::Logger
use ActionDispatch::ShowExceptions
use WebConsole::Middleware
use ActionDispatch::DebugExceptions
use ActionDispatch::ActionableExceptions
use ActionDispatch::Reloader
use ActionDispatch::Callbacks
use ActiveRecord::Migration::CheckPending
use Rack::Head
use Rack::ConditionalGet
use Rack::ETag
run NPlusOne::Application.routes

# rails_helper.rb内で、spec_helper.rbの内容を読み込んでいるな。
require 'spec_helper'
ENV['RAILS_ENV'] ||= 'test'
require_relative '../config/environment'

# abortは、Rubyプログラムをエラーメッセージ付きで終了する。終了ステータスは 1 固定である。
# つまり、本番環境なら、強制終了する
abort("The Rails environment is running in production mode!") if Rails.env.production?
require 'rspec/rails'

Rails.root.glob('spec/support/**/*.rb').sort.each { |f| require f }

RSpec.configure do |config|
  config.include FactoryBot::Syntax::Methods

  # テストデータで使うそう
  # 正直FactoryBotを使うから、なくても良さそう
  config.fixture_path = Rails.root.join('spec/fixtures')

  # use_transactional_fixtures という設定項目が true になっていると、exampleのたびにデータが削除されるようになる。
  # trueにすると、1つのexampleがデータベースのトランザクションの中で実行されるようになり、exampleの終わりにロールバックされ、データが消えるという仕組みになっている。
  # テストを実行したときの log/test.log を見るとその様子がよくわかる。
  config.use_transactional_fixtures = true

  # 以下のオプションを書くことで、specファイルが配置しているディレクトリから、自動的にspecのタイプ(model, controller, feature, requestなど)を判別してくれる
  # specファイルでそれぞれのspecタイプを明示する必要がなくなった
  config.infer_spec_type_from_file_location!

  # Filter lines from Rails gems in backtraces.
  # テスト時のgemによるバックトレースをフィルタリングする
  # テスト失敗時のノイズを減らすための設定であるそう
  config.filter_rails_from_backtrace!
end

  # before(:suite)はRspec実行時に一度だけ実行される
  config.before(:suite) do
    # この一行でRailsとlib/tasks配下のRakeタスクが追加される
    Rails.application.load_tasks
    # おそらくridgepole:applyのrakeタスクを呼び出している
    Rake.application["ridgepole:apply"].invoke
    # fakerのロケールを設定する
    Faker::Config.locale = :en
  end

  # before(:all)はcontext/describeブロック実行時に呼び出される
  config.before(:all) do
    # Fakerはユニーク値が尽きると例外が起こるので、
    # Faker::UniqueGenerator.clearでユニーク値をカウントをリセットできる
    Faker::UniqueGenerator.clear
  end

  # テスト環境用にアダプターを変更しておく
  ActiveJob::Base.queue_adapter = :test
end

  # ActiveSupport::Testing::TimeHelpersは、時間の経過をテストするのに役立つヘルパーが含まれているモジュール
  # travel_toとか入っている
  config.include ActiveSupport::Testing::TimeHelpers

  # RSpec::JsonMatcherは、rspec-json_matcher gemが提供するマッチャを利用するためのモジュール
  config.include RSpec::JsonMatcher

# spec/requests配下のテストではないから、requestを書いている
# /api/authorsについてのテストを書くよ~
RSpec.describe "/api/authors", type: [:request] do
  # GET /api/authorsについてのテストを書くよ〜
  describe "GET /api/authors" do
    # グループ・スコープの subject を使用して、example スコープの subject メソッドが返す値を明示的に定義する。
    subject { api_get "/api/authors" }

    before do
      # create_listは、ファクトリーから複数のインスタンスを生成する時に使う
      # create_listの場合、ファクトリーから作成したデータがDBにインサートされている
      create_list(:author, 3)
    end

    it "returns ok" do
      subject
      expect(response).to have_http_status(:ok)
      expect(response.body).to be_json_including(data: {
        # これってauthorsオブジェクトのsizeプロパティの値を検証しているってことか
        authors: have_attributes(size: 3),
      })
    end
  end
end

require 'committee'
require 'committee/rails/request_object'

module Committee::Rails
  module Test
    module Methods
      include Committee::Test::Methods

      def committee_options
        if defined?(RSpec) && (options = RSpec.try(:configuration).try(:committee_options))
          options
        else
          { schema_path: default_schema, query_hash_key: 'rack.request.query_hash', parse_response_by_content_type: false }
        end
      end

      def default_schema
        @default_schema ||= Committee::Drivers.load_from_file(Rails.root.join('docs', 'schema', 'schema.json').to_s)
      end

      def request_object
        @request_object ||= Committee::Rails::RequestObject.new(integration_session.request)
      end

      def response_data
        [integration_session.response.status, integration_session.response.headers, integration_session.response.body]
      end
    end
  end
end

# frozen_string_literal: true

module Committee
  module Test
    module Methods
      def assert_schema_conform(expected_status = nil)
        assert_request_schema_confirm unless old_behavior
        assert_response_schema_confirm(expected_status)
      end

      def assert_request_schema_confirm
        unless schema_validator.link_exist?
          request = "`#{request_object.request_method} #{request_object.path_info}` undefined in schema (prefix: #{committee_options[:prefix].inspect})."
          raise Committee::InvalidRequest.new(request)
        end

        schema_validator.request_validate(request_object)
      end

      def assert_response_schema_confirm(expected_status = nil)
        unless schema_validator.link_exist?
          response = "`#{request_object.request_method} #{request_object.path_info}` undefined in schema (prefix: #{committee_options[:prefix].inspect})."
          raise Committee::InvalidResponse.new(response)
        end

        status, headers, body = response_data

        if expected_status.nil?
          Committee.need_good_option('Pass expected response status code to check it against the corresponding schema explicitly.')
        elsif expected_status != status
          response = "Expected `#{expected_status}` status code, but it was `#{status}`."
          raise Committee::InvalidResponse.new(response)
        end

        if schema_coverage
          operation_object = router.operation_object(request_object)
          schema_coverage&.update_response_coverage!(operation_object.original_path, operation_object.http_method, status)
        end

        schema_validator.response_validate(status, headers, [body], true) if validate_response?(status)
      end

      def committee_options
        raise "please set options"
      end

      def request_object
        raise "please set object like 'last_request'"
      end

      def response_data
        raise "please set response data like 'last_response.status, last_response.headers, last_response.body'"
      end

      def validate_response?(status)
        Committee::Middleware::ResponseValidation.validate?(status, committee_options.fetch(:validate_success_only, false))
      end

      def schema
        @schema ||= Committee::Middleware::Base.get_schema(committee_options)
      end

      def router
        @router ||= schema.build_router(committee_options)
      end

      def schema_validator
        @schema_validator ||= router.build_schema_validator(request_object)
      end

      def schema_coverage
        return nil unless schema.is_a?(Committee::Drivers::OpenAPI3::Schema)

        coverage = committee_options.fetch(:schema_coverage, nil)

        coverage.is_a?(SchemaCoverage) ? coverage : nil
      end

      def old_behavior
        committee_options.fetch(:old_assert_behavior, false)
      end
    end
  end
end

--require spec_helper
--format documentation

gem list

--require rails_helper
--format documentation

--require spec_helper
--format documentation