Zenn
Closed4

digdagのLast Attempt Durationの処理時間の調査

Python
#
digdag
i-hrmi-hrm

適当にGUIをspreadsheetか何かにcopy & pasteして表に値を入れる
その後にTSVとかでDLしてpythonで処理できるように修正する

i-hrmi-hrm

TSVから読み取ってpythonでグラフ化できるように値を変換する
表示形式が 1h 23m 45s といった感じなので、このままだとグラフにすることが出来ない
そこで 1h 23m 45s であれば 1.2345 のように数値に変換することでグラフ化できるように検討する
全てminで計算してしまうと比較がしにくくなるため（グラフにしたときに差を見にくい）60minを1とする

i-hrmi-hrm

header lessにしたいので header option は指定しない

df = pd.read_csv("hoge.tsv", sep="\t")

するとdfのcolumnsはheaderになる

>>> df.columns
Index(['ID', 'Project', 'Workflow', 'Revision', 'Session Time', 'Last Attempt',
       'Last Attempt Duration', 'Status'],
      dtype='object')

特定列の値を抽出する

>>> df["Last Attempt Duration"]
0     1h 23m 45s
1        55m 55s
2     1h 23m 45s
3      1h 43m 21s
4     2h 22m 2s
         ...
95    4h 44m 44s
96     4h 0m 40s
97       55m 55s
98    1h 44m 44s
99    1h 25m 25s
Name: Last Attempt Duration, Length: 100, dtype: object

import pandas as pd

df = pd.read_csv("hoge.tsv", sep="\t")
tmp = []

import re
for v in df["Last Attempt Duration"]:
    vl = re.findall(r"\d+", )
このスクラップは2022/03/10にクローズされました