<h1 id="%E6%9B%B8%E3%81%8F%E3%81%93%E3%81%A8">
<a class="header-anchor-link" href="#%E6%9B%B8%E3%81%8F%E3%81%93%E3%81%A8" aria-hidden="true"></a> 書くこと</h1>
<ul>
<li>
<code>_csv.Error: field larger than field limit (131072)</code>対策</li>
</ul>
<h1 id="%E6%83%B3%E5%AE%9A">
<a class="header-anchor-link" href="#%E6%83%B3%E5%AE%9A" aria-hidden="true"></a> 想定</h1>
<ul>
<li>pythonの標準ライブラリを利用</li>
<li>サイズの大きなCSVファイルを処理したい</li>
</ul>
<h1 id="%E6%96%B9%E6%B3%95%E8%AB%96">
<a class="header-anchor-link" href="#%E6%96%B9%E6%B3%95%E8%AB%96" aria-hidden="true"></a> 方法論</h1>
<ul>
<li>field_size_limitの変更</li>
</ul>
<div class="code-block-container"><pre class="language-python"><code class="language-python"><span class="token keyword">import</span> csv
OVER_SIZE_LIMIT <span class="token operator">=</span> <span class="token number">200_000_000</span>

csv<span class="token punctuation">.</span>field_size_limit<span class="token punctuation">(</span>OVER_SIZE_LIMIT<span class="token punctuation">)</span>

<span class="token comment"># 以下、書きたい処理</span>
</code></pre></div>

pythonでサイズの大きなCSV処理時に発生する「_csv.Error: field larger than field limit」対策

書くこと

想定

方法論

Discussion