【typect】タイプ数カウンターのデータを抽出する【Python3】

　タイプ数カウンターのバイナリデータからデータを引き出す話(需要が皆無)

・どれがどれの数なのかがわからない

　タイプ数カウンターというのは、タイプ数をカウントしてくれるフリーソフトである。細かい記録は毎日流れてしまうので、どうせなら毎日分の記録を残してみたいと思ってデータファイルを覗いてみることにした。
　データファイルは、タイプ数カウンターの実行ファイル typect.exeと同じフォルダにある data ファイルである。このファイルにはキーボードの記録が入っていて、data2にはマウスの記録が入っている。
　さて、このデータファイルはテキストファイルではなくバイナリデータである(メモ帳で開くととんでもないことになる)。データファイルには、記録された数値が unsigned long型で延々とpackされているようなので、これをunpackしてみる。Pythonではstruct.unpackを使うと、結果としてタプルが得られる。

import struct
path="dataのファイルパス"
with open(path,"rb") as f:
    b=f.read()
    #packされた数値の数を計算する
    leng=len(b)//struct.calcsize("L") 
    fmt=str(leng)+"L"
    tup=struct.unpack(fmt,b)

　結果はこんな感じで、延々と1393個もの数字がズラリ(長すぎるので一部省略している)。

(163, 2018, 7, 22, 4902403, 941680, 460405, 168427, 71076, 27656, 10830, 8030, 7839, 2416, 7464, 5252, 3723, 3006, 5747, 25547, 49075, 82118, 166790, 254470, 256849, 95189, 339212, 627387, 1282215, 32, 0, 0, 0,

...

198, 43, 91, 141, 0, 0, 0, 145, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 164, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2018, 6, 11, 132882)

　2018,7,22とかは日付だとわかるのだが、他の数値はチンプンカンプンでどれがどれだか分からない。このおよそ1400個の数字が何を表しているのか突き止めるために、特定キーを連打して値の変化を見たり、カウンターに表示されている値と照らし合わせてみたりした結果、ある程度はどうなっているか分かった。

・調査結果

　まず大まかな区分を見てみよう。

　さらに、「キーごと」の256個の値は、各キーと以下のように対応する。値の無いところは不明なキーである。

　不明の値が150個もある(半分以上！)。たぶん数字とかアルファベットをASCIIコードと多少対応させるためにパディングしてるんだろうと思う。一部のキーは今使っているキーボードには存在しなかったので調査を断念した。有志による報告をお待ちしております。

・何かしら見やすい形に出力する

　CSVとjsonで出力してみよう。

import json
indexes=(
    ("today/daycount",1),("today/date",3),
    ("overall/all",1),("overall/hour",24),("overall/key",256),
    ("today/all",1),("today/hour",24),("today/key",256),
    ("unknown/1",2),
    ("overall/day",7),("thisweek/day",7),("thisweek/key",256),
    ("yesterday/daycount",1),("yesterday/date",3),("yesterday/all",1),
    ("yesterday/hour",24),("yesterday/key",256),
    ("unknown/2",2),
    ("lastweek/all",1),("lastweek/day",7),("lastweek/key",256),
    ("max/date",3),("max/all",1)
)

# キー名、不明な区間の長さ
keyname=(
    "others",7,"Bcsp","Tab",3,"Enter",2,"Shift","Ctrl","Alt","Pause",
    "Caps",6,"Esc","変換","無変換",2,"Space","PgUp","PgDn","End","Home",
    "Left","Up","Right","Down",3,"PrtSc","Insert","Delete",1,
    "0","1","2","3","4","5","6","7","8","9",7,
    "A","B","C","D","E","F","G","H","I","J","K","L","M","N",
    "O","P","Q","R","S","T","U","V","W","X","Y","Z",
    "Win(L)","Win(R)",3,
    "Ten_0","Ten_1","Ten_2","Ten_3","Ten_4","Ten_5",
    "Ten_6","Ten_7","Ten_8","Ten_9",
    "Ten_*","Ten_+","Ten_,","Ten_-","Ten_.","Ten_/",
    "F1","F2","F3","F4","F5","F6","F7","F8","F9","F10","F11","F12",20,
    "NumLk","ScrLk",40,":",";",",","-",".","/","@",26,"[","Yen","]",
    "^",3,"\\",15,"カタカナ/ひらがな","全角/半角",12
)

dayname=("Sun","Mon","Tue","Wed","Thu","Fri","Sat")

# タプルを受け取って辞書/値に変換
def TupleToDict(tup,content):
    if content=="all" or content=="daycount":return tup[0]
    if content=="date":return "%d/%d/%d"%tup
    if content=="hour":return {i:tup[i] for i in range(24)}
    if content=="day":return {dayname[i]:tup[i] for i in range(7)}
    if content=="key":
        rp=0
        dic={}
        for key in keyname:
            if type(key)==int:rp+=key # 不明な区間をスキップ
            else:
                dic[key]=tup[rp]
                rp+=1
        return dic

# 出力するデータ
dic_o={
    "overall":{},
    "today":{},
    "yesterday":{},
    "thisweek":{},
    "lastweek":{},
    "max":{}
}

rp=0
for index in indexes:
    sp=index[0].split("/")
    period=sp[0]
    content=sp[1]
    dlen=index[1]
    dpart=tup[rp:rp+dlen] # 区分ごとにスライス
    rp+=dlen
    if period=="unknown":continue
    dic_o[period][content]=TupleToDict(dpart,content)

# 辞書からCSV
csv=",overall,today,yesterday,this week,last week\n"
csv+="Total,%d,%d,%d,,%d\n"%(
    dic_o["overall"]["all"],dic_o["today"]["all"],
    dic_o["yesterday"]["all"],dic_o["lastweek"]["all"])
for key in keyname:
    if type(key)==int:continue
    csv+="%s,%d,%d,%d,%d,%d\n"%(
        key,dic_o["overall"]["key"][key],
        dic_o["today"]["key"][key],dic_o["yesterday"]["key"][key],
        dic_o["thisweek"]["key"][key],dic_o["lastweek"]["key"][key])


path_csv="保存ファイルパス.csv"
with open(path_csv,"w") as fc:
    fc.write(csv)

path_json="保存ファイルパス.json"
with open(path_json,"w") as fj:
    json.dump(dic_o,fj)

　CSVのところが汚いコードになってしまったが勘弁してほしい。見た目はこんな感じになる。

　BMSとかいうクソゲーのせいで特定のキーだけ打鍵数が桁違いに多くなってしまった。

　というわけで無事データを抽出できた。毎日記録を残すのであれば、「昨日」の分だけ抽出するようにして、バッチファイルをタスクスケジューラにでもぶち込んでおけばいいと思う。