お魚の本 (ゼロから作る Deep Learning ② 自然言語処理編) 2.3 カウントベースの手法 を読んで書いてみる。 2.4.1~2.4.3 相互情報量、次元削減、SVD メモ：行列の大きさを得る .shape メモ：辞書のループに .items() を使う方法 count_method_small.py を実…
今日は雨が降ったり雹が降ったり晴れたり曇ったり、山みたいな天気だった。 お魚の本 (ゼロから作る Deep Learning ② 自然言語処理編) 2.3 カウントベースの手法 を読んで書いてみる。 2.3.2~2.3.6 単語の共起行列、コサイン類似度を使った類似単語のランキ…
言語処理100本ノック #073 準備：scikit-learn をインストール お魚の本 (ゼロから作る Deep Learning ② 自然言語処理編) 2.3 カウントベースの手法 (2.3.1 コーパスの下準備)：正規表現が分からない 言語処理100本ノック #073 # 73. 学習 72で抽出した素性…
先週末は新居を探しに行ったし、今週末は引越しの見積りの人が家に来たし、内定先に色々な書類も出した。着々と準備が進んでいる気がする。準備は進んでいるものの、新しい仕事への不安もつのる。 新型肺炎の拡散防止のために日本語教室も休みになってしまい…
今回はストップワードかどうかを判定するコードを書きました。さらに、実際どのような単語が多く出現しているのかも見てみました。 言語処理100本ノック #071 準備 解答 テスト出力 頻出単語を調べる コード 頻度分布
第7章 後半はちょっと後回しにすることにしまして、第8章。今回は機械学習に使うデータの整形をしました。 最近、メモアプリの ”Bear” を使い始めた。オシャレでシンプルで使いやすそうだし、マークダウンで書けるのが良さそうかなと思った。 でもはてなブロ…
今回は MongoDB を準備して、Python から登録・検索・削除をしてみました。 あとで気づいたんですが、 #065 以降は Python ではなくMongoDB のインタラクティブシェルを使うように書いてありますね。Python でも良いかな……。 言語処理100本ノック #064 準備:…
前回 に続き、Key-Value-Store (KVS) として LevelDB を使っていきます。前回 LevelDB チュートリアルを少し書いたので、今回はとてもスムーズにできました。 言語処理100本ノック #061: KVSの検索 解答 言語処理100本ノック #062: KVS内の反復処理 解答 言…
今回から 第7章: データベース です。今回は JSON 形式のデータを読んで、Key-Value-Store (KVS) データベースを作りました。LevelDB を初めて使いました。 言語処理100本ノック #060 LevelDB の準備 解答
今日はこれの他に、地域日本語教室の支援者向け講座を聞いたり、台湾のドキュメンタリー映画「漢字」を観たりした。そろそろ花粉症の薬をもらいに耳鼻科へ行かなあかん時期やんなあ。めんどいなあ。 前回 の続きです。 言語処理100本ノック #059: S式の解析 …
