Rubyでのメモリの問題の追跡：決定的なガイド

そして配列ビルダー：

ザ・ get_process_mem gemは、現在のRubyプロセスで使用されているメモリを取得するための便利な方法です。私たちが見ているのは、上記と同じ動作であり、メモリ使用量が継続的に増加しています。

ただし、さらに反復を実行すると、最終的には横ばいになります。

このプラトーにぶつかることは、実際のメモリリークではないこと、またはメモリリークが非常に小さいため、他のメモリ使用量と比較して表示されないことの特徴です。直感的ではないかもしれないのは、最初の反復後もメモリ使用量が増え続ける理由です。結局のところ、それは大きな配列を構築しましたが、すぐにそれを破棄し、同じサイズの新しい配列を構築し始めました。前のアレイによって解放されたスペースを使用するだけではいけませんか？私たちの問題を説明する答えはノーです。ガベージコレクターを調整する以外に、実行するタイミングと、build_arrays.rbに表示される内容を制御することはできません。例としては、古い破棄されたオブジェクトのガベージコレクションの前に行われる新しいメモリ割り当てがあります。

これは、特定の恐ろしいメモリ管理の問題ではないことを指摘しておく必要があります ルビー 、ただし、一般的にガベージコレクションされた言語に適用できます。これを安心させるために、Goを使用して基本的に同じ例を再現し、同様の結果を確認しました。ただし、この種のメモリの問題を簡単に作成できるRubyライブラリがあります。

分割統治

それで、大量のデータを処理する必要がある場合、問題に大量のRAMを投入する運命にあるのでしょうか。ありがたいことに、そうではありません。 build_arrays.rbを取る場合例として、アレイサイズを小さくすると、メモリ使用量がプラトーになり、アレイサイズにほぼ比例するポイントが減少します。

これは、作業を細かく分割して処理し、一度に存在するオブジェクトが多すぎないようにすることができれば、メモリフットプリントを大幅に削減できることを意味します。残念ながら、それは多くの場合、よりメモリ効率の高い方法で、きれいでクリーンなコードを取得し、同じことを行うより多くのコードに変換することを意味します。

メモリ使用量のホットスポットの分離

実際のコードベースでは、メモリの問題の原因はbuild_arrays.rbほど明白ではない可能性があります。例。実際に掘り下げて修正する前にメモリの問題を切り分けることが不可欠です。問題の原因について誤った推測をするのは簡単だからです。

私は通常、メモリの問題を追跡するために2つのアプローチを、多くの場合組み合わせて使用​​します。コードをそのままにしてプロファイラーをラップすることと、コードのさまざまな部分を無効/有効にしながらプロセスのメモリ使用量を監視することです。使用します memory_profiler ここでプロファイリングしますが、 ルビー教授 別の人気のあるオプションであり、 derailed_benchmarks Rails固有の優れた機能がいくつかあります。

大量のメモリを使用するコードを次に示します。どのステップがメモリ使用量を最も押し上げているかがすぐにはわからない場合があります。

使用する get_process_mem 、Personが多い場合に、大量のメモリを使用していることをすばやく確認できます。作成中のレコード。

結果：

コードを見ると、大量のメモリを使用するのに適していると思われる複数の手順があります。文字列の大きな配列を作成し、#to_aを呼び出します。 Active RecordリレーションでActiveRecordオブジェクトの大きな配列を作成し（素晴らしいアイデアではありませんが、デモンストレーションの目的で行われます）、ActiveRecordオブジェクトの配列をシリアル化します。

次に、このコードのプロファイルを作成して、メモリ割り当てが行われている場所を確認できます。

runに供給される番号に注意してくださいプロファイラー自体が大量のメモリを使用し、すでに高いメモリ使用量を引き起こしているコードをプロファイリングするときに実際にメモリの枯渇につながる可能性があるため、これは前の例の1/10です。

結果ファイルはかなり長く、gem、ファイル、および場所のレベルでのメモリとオブジェクトの割り当てと保持が含まれています。探索する情報は豊富にありますが、興味深いスニペットがいくつかあります。

Active Record内で最も多くの割り当てが行われていることがわかります。これは、records内のすべてのオブジェクトをインスタンス化することを指しているように見えます。配列、または#to_jsonによるシリアル化。次に、これらの容疑者を無効にしながら、プロファイラーなしでメモリ使用量をテストできます。取得を無効にすることはできませんrecordsそれでもシリアル化の手順を実行できるので、最初にシリアル化を無効にしてみましょう。

結果：

それは確かにほとんどのメモリが行くところのようであり、メモリの前後のデルタはそれをスキップすることによって81％低下します。また、大量のレコードを強制的に作成するのをやめるとどうなるかを確認できます。

結果：

Cコーディングを学ぶ方法

これにより、メモリ使用量も削減されますが、シリアル化を無効にするよりも1桁少なくなります。したがって、この時点で、私たちは最大の原因を知っており、このデータに基づいて何を最適化するかを決定できます。

ここでの例は考案されたものですが、アプローチは一般的に適用可能です。プロファイラーの結果は、問題が存在するコード内の正確な場所を示していない可能性があり、誤解される可能性もあるため、コードのセクションのオンとオフを切り替えながら、実際のメモリ使用量を確認してフォローアップすることをお勧めします。次に、メモリ使用量が問題になる一般的なケースと、それらを最適化する方法について説明します。

デシリアライズ

メモリの問題の一般的な原因は、XML、JSON、またはその他のデータシリアル化形式から大量のデータを逆シリアル化することです。 JSON.parseのような方法を使用するまたはアクティブサポートのHash.from_xmlは非常に便利ですが、ロードするデータが大きい場合、メモリにロードされる結果のデータ構造は膨大になる可能性があります。

データのソースを制御できる場合は、フィルタリングやページ付けのサポートを追加するなど、受信するデータの量を制限することができます。ただし、それが外部ソースであるか、制御できない場合は、ストリーミングデシリアライザーを使用することもできます。 XMLの場合、 牛 1つのオプションであり、JSONの場合 yajl-ルビー あまり経験はありませんが、同じように動作しているようです。

Hash#from_xmlを使用して1.7MBのXMLファイルを解析する例を次に示します。

1.7MBファイルの場合は111MB！これは明らかにうまくスケールアップするつもりはありません。これがストリーミングパーサーのバージョンです。

これにより、メモリの増加はごくわずかになり、非常に大きなファイルを処理できるはずです。ただし、トレードオフとして、以前は必要なかった28行のハンドラーコードがあり、エラーが発生しやすいようです。本番環境で使用する場合は、いくつかのテストを行う必要があります。

シリアル化

メモリ使用量のホットスポットの分離に関するセクションで見たように、シリアル化には高いメモリコストがかかる可能性があります。これがpeople.rbの重要な部分です以前から。

データベース内の100,000レコードでこれを実行すると、次のようになります。

#to_jsonの呼び出しに関する問題これは、すべてのレコードのオブジェクトをインスタンス化してから、JSONにエンコードすることです。一度に1つのレコードオブジェクトのみが存在する必要があるようにJSONをレコードごとに生成すると、メモリ使用量が大幅に削減されます。人気のあるRubyJSONライブラリはどれもこれを処理していないようですが、一般的に推奨されるアプローチは、JSON文字列を手動で作成することです。あります json-write-stream これを行うための優れたAPIを提供し、例を次のように変換するgemは次のようになります。

繰り返しになりますが、最適化によってより多くのコードが得られたことがわかりますが、結果はそれだけの価値があるようです。

怠惰であること

2.0以降のRubyに追加された優れた機能は、列挙子を遅延させる機能です。これは、列挙子でメソッドをチェーンするときにメモリ使用量を改善するのに最適です。怠惰ではないコードから始めましょう。

拡張現実と複合現実の違い

結果：

ここで何が起こるかというと、チェーンの各ステップで、列挙子のすべての要素を反復処理し、チェーン内の後続のメソッドが呼び出される配列を生成します。これを怠惰にするとどうなるか見てみましょう。| ​​_ + _ |に呼び出しを追加するだけです。 lazyから取得する列挙子で：

結果：

最後に、多くの余分なコードを追加することなく、メモリ使用量を大幅に増やす例です。最後に結果を蓄積する必要がなかった場合、たとえば、各アイテムがデータベースに保存されてから忘れられた場合、メモリ使用量はさらに少なくなることに注意してください。チェーンの最後で怠惰な列挙可能な評価を行うには、$ ruby lazy.rb 1_000_000 Before: 36 MB After: 52 MB に最後の呼び出しを追加するだけです。

この例についてもう1つ注意すべき点は、チェーンがforceの呼び出しで始まることです。 timesより前。これは、呼び出されるたびに整数を生成する列挙子を返すだけなので、メモリをほとんど使用しません。したがって、チェーンの先頭で大きな配列の代わりに列挙型を使用できる場合は、それが役立ちます。

ある種の処理パイプラインに遅延フィードするための列挙型を構築する実際のアプリケーションの1つは、ページ付けされたデータの処理です。したがって、すべてのページを要求して1つの大きな配列に配置するのではなく、すべてのページネーションの詳細を適切に非表示にする列挙子を介してそれらを公開できます。これは次のようになります。

結論

Rubyでのメモリ使用量の特性評価を行い、メモリの問題を追跡するための一般的なツールと、それらを改善するための一般的なケースと方法をいくつか見てきました。私たちが調査した一般的なケースは、決して包括的ではなく、私が個人的に遭遇した種類の問題によって大きく偏っています。ただし、最大のメリットは、コードがメモリ使用量にどのように影響するかを考えることです。