テキスト処理 - 変更履歴

Hagio: /* IP アドレス的なもの抽出 */

2011-02-25T09:47:03Z

‎IP アドレス的なもの抽出

2010-06-03T12:56:45Z

‎単語の意味抽出

2010-01-06T15:08:42Z

2009-11-09T16:18:49Z

‎単語の意味抽出

2009-11-09T16:17:14Z

‎高効率単語帳メーカー (構想中)

2009-11-06T11:58:59Z

‎HTML タグを削除する

2009-11-06T11:54:58Z

‎高効率単語帳メーカー (構想中)

2009-11-06T11:49:40Z

‎単語の抽出と数え上げ

2009-11-06T11:34:20Z

2009-11-06T10:48:56Z

‎高効率単語帳メーカー (構想中)

@@ 行17: / 行17: @@
 === IP アドレス的なもの抽出 ===
 面倒なので、先頭の 0 も許す。
-  $ egrep -o '([0-9]{1,3}\.){3}[0-9]{1,3}' FILE
+  $ egrep -o '[0-9]{1,3}(\.[0-9]{1,3}){3}' FILE
 === URL 的なもの抽出 ===

@@ 行215: / 行215: @@
 これはあまり詳しく書けないのだが、あるサイトから単語のデータを落としてきて
 ちょっと整形してやると、うまいこと 1 行で単語の意味を取り出せる。
-オレはこれをすぐ呼べるようにしていて、カーネルソースを読んでいるときなどに
+オレはこれをすぐ呼べるようにしていて (dic コマンド)、カーネルソースを読んでいるときなどに
 コメントにわからない単語が出てきたら、vi からさくっとそのまま辞書を引けるようにしている。
 これがいい。
@@ 行224: / 行224: @@
       curl http://hogehoge/$word/ 2> /dev/null | grep -A 1 midashi | head -n 2 | sed -e 's/<\/ol>/\n/g' -e 's/<[^>]*>//g'
   done
 ==== 単語帳を出力する ====

@@ 行1: / 行1: @@
-以下のページも参照のこと。
+[[awk]], [[sed]], [[grep]] のページも参照のこと。
-* [[awk]]
-* [[sed]]
-* [[grep]]
-−
 == 一行野郎 ==
@@ 行25: / 行21: @@
 === URL 的なもの抽出 ===
 使える記号は適当に。
-  $ egrep -o '[a-z]+://[[:alnum:]:;/._!?~%#&=+-]+'
+  $ egrep -o '[a-z]+://[[:alnum:]:;/._!?~%#&=+-]+' FILE
 === 文字単位で逆順に出力 ===
@@ 行61: / 行57: @@
 === 行を長さ順にソート ===
-これ、意外と難しい。もっと美しい方法があるはず。。
+これ、意外と難しい。もっと美しい方法がないだろうか。。
   $ awk '{printf("%4d ",length()); print}' FILE | sort -n | cut -c 6-
 == 企画モノ ==
-=== 高効率単語帳メーカー (作成中) ===
+=== 高効率単語帳メーカー ===
 高効率単語帳とは、英語の文書や文献データベースに頻出する単語と、それらの意味を列挙した単語帳である。
 頻出するけれども知らない、という単語から学習していくことで、その文献に対する読解力を効率的に上げることが可能… のはず。

@@ 行225: / 行225: @@
   for word in "$@"; do
       word=$(echo $word | tr ' ' '+')
-      curl http://hogehoge/ 2> /dev/null | grep -A 1 midashi | head -n 2 | sed -e 's/<\/ol>/\n/g' -e 's/<[^>]*>//g'
+      curl http://hogehoge/$word/ 2> /dev/null | grep -A 1 midashi | head -n 2 | sed -e 's/<\/ol>/\n/g' -e 's/<[^>]*>//g'
   done

@@ 行66: / 行66: @@
 == 企画モノ ==
-=== 高効率単語帳メーカー (構想中) ===
+=== 高効率単語帳メーカー (作成中) ===
 高効率単語帳とは、英語の文書や文献データベースに頻出する単語と、それらの意味を列挙した単語帳である。
 頻出するけれども知らない、という単語から学習していくことで、その文献に対する読解力を効率的に上げることが可能… のはず。
@@ 行211: / 行211: @@
 results
+      :

←前の版		2009年11月6日 (金) 11:58時点における版
行115:		行115:
	733		733

−	==== HTML ~~タグを削除する~~ ====	+	==== HTML タグなど不要部分を削除する ====

	さて、次は HTML ファイルから不要な部分を削除する部分だが、まずは HTML タグを削除することを考える。		さて、次は HTML ファイルから不要な部分を削除する部分だが、まずは HTML タグを削除することを考える。

@@ 行67: / 行67: @@
 === 高効率単語帳メーカー (構想中) ===
-高効率単語帳とは、英語の文書や文献データベースに頻出する単語とその意味を列挙した単語帳である。
+高効率単語帳とは、英語の文書や文献データベースに頻出する単語と、それらの意味を列挙した単語帳である。
-頻出するが知らない単語から学習していくことで、その文献に対する読解力を効率的に上げることが可能… のはず。
+頻出するけれども知らない、という単語から学習していくことで、その文献に対する読解力を効率的に上げることが可能… のはず。
 自動生成に必要なパーツを考えてみよう。
 * クローラ
 * HTML タグなどの不要部分削除
-* 英単語抽出
+* 英単語の抽出と数え上げ
-* 英単語数え上げ
 * 不要英単語削除 (the, is など。手作業か?)
 * 単語の意味抽出

@@ 行188: / 行188: @@
 is
 Bug
+      :

←前の版		2009年11月6日 (金) 11:34時点における版
行163:		行163:
	* プログラミングせずにメモリと時間を大量消費して処理する。		* プログラミングせずにメモリと時間を大量消費して処理する。
	* プログラミングして効率的に処理する。		* プログラミングして効率的に処理する。
		+
		+	マシンパワーはないがメモリは大量にあるので、ここはポリシーに従い、
		+	前者の方法でやってみることにする。お気づきの方も多いかもしれないが、
		+	一行野郎で紹介している、[[#頻出コマンド Top 10\|頻出コマンド Top 10]]
		+	のパイプテクニックを利用すれば簡単に算出することができる。
		+
		+	#!/bin/bash
		+	for file in text/*
		+	do
		+	cat $file
		+	done \| egrep -o '<nowiki>[[:alpha:]]</nowiki>+' \| sort \| uniq -c \| sort -nr > ranking.txt
		+
		+	733 ファイルにかかった時間は 7.5 秒。
		+	結果は以下のようになった。
		+
		+	11605 the
		+	10003 to
		+	7990 a
		+	7747 of
		+	7468 EDT
		+	6474 this
		+	5813 in
		+	5384 bug
		+	5152 is
		+	4849 Bug
		+	:

←前の版		2009年11月6日 (金) 10:48時点における版
行147:		行147:
	echo "$DATA" > text/$BASENAME.txt		echo "$DATA" > text/$BASENAME.txt
	done		done
		+
		+	念のため解説。
		+	; <code>sed '/script type/,/\/script/d'</code>
		+	: JavaScript は開始タグと終了タグが別の行、かつ script タグと同じ行にテキストは含まれないと仮定し、script タグを含めて削除する。
		+	; <code>sed 's/&[^;]*;//g'</code>
		+	: & で始まり ; で終わる実体参照を削除する。
		+	; <code>tr '\n' '\0' \| sed 's/<[^>]*>//g' \| tr '\0' '\n'</code>
		+	: 今回のミソ。改行をヌル文字に変換することで sed へ 1 行で渡し、タグをすべて削除する。その後、ヌル文字を改行に戻す。
		+	; <code>sed -e '/^\s$/d' -e 's/^ //' -e 's/ *$//'</code>
		+	: 先頭から、空白のみを含む行を削除、先頭の空白列を削除、末尾の空白列を削除。
		+
		+	==== 単語の抽出と数え上げ ====
		+
		+	さて、この部分をどうするかだが、大きく分けて 2 つ方法がある。
		+	* プログラミングせずにメモリと時間を大量消費して処理する。
		+	* プログラミングして効率的に処理する。