BashのTips

• ログインシェルの場合（e.g. 直接ログイン、sshログイン時、bash --login、su -）
  • $HOME/.bash_profile が読み込まれる。
  • 上記がない場合、$HOME/.bash_login が読み込まれる。
  • 上記がない場合、$HOME/.profile が読み込まれる。
  • 上記から $HOME/.bashrc が読み込まれることが多い。
• 非ログインシェルかつ対話モード（e.g. 入出力が端末）の場合
  • $HOME/.bashrc が読み込まれる。

• $HOME/.bash_profile：一度だけ読み込めば十分なもの
  • 環境変数（exportするもの）
• $HOME/.bashrc：毎回読み込むもの
  • シェル変数
  • エイリアス（非対話モードでは引き継がれないので注意）
  • umask

• 0: 標準入力（<）
• 1: 標準出力（>）
• 2: 標準エラー出力

[番号/0]<ファイル名

• ファイルをオープンし、指定した番号で読み込めるようにする。
• 番号を省略すると標準入力からリダイレクトする。

[番号/1]>ファイル名    <-上書き
[番号/1]>>ファイル名   <-追記

• ファイルをオープンし、指定した番号で書き込めるようにする。
• 番号を省略すると標準出力からリダイレクトする。
• 注意：>を用いた場合、ファイルが存在するとファイルサイズは0になる。

[p]>&q

TODO: 分かりやすい説明

コマンド | tee ファイル名

• teeは、標準入力を標準出力、およびファイル（複数も可）に同時出力するコマンド。
• 例

  $ ./a.out | tee log
  

コマンド | tee ファイル名1 ファイル名2 ... > /dev/null

ファイルを上書きせず追記したい場合は以下

コマンド | tee -a ファイル名1 ファイル名2 ... > /dev/null

コマンド >> log 2>&1

• 例1

  $ ./a.out >> log 2>&1
  

• 例2：表示しながら出力

  $ ./a.out 2>&1 | tee log
  

コマンド 1> 標準出力ファイル名 2> 標準エラー出力ファイル名

• 例

  ./a.out 1> stdour.log 2> stderr.log
  

echo "this is error" >&2

• 例

  $ echo {abc,123}
  abc 123
  $ echo a{abc,123}
  aabc a123
  $ echo a{a..d}
  aa ab ac ad
  

クオーテーションで囲まれていない ~（チルダ）で始まる単語は、全体もしくは一部がチルダ展開される。クオーテーションで囲まれていない /（スラッシュ）がある場合はその直前まで、ない場合は単語全体がチルダ展開の対象となる。

チルダの後の文字列の依存して、以下のように展開される：

ログイン名

ログイン名に対応するユーザのホームディレクトリ

空文字

$HOME、もしくはログインユーザのホームディレクトリ

+

$PWD（カレントディレクトリ）

-

$OLDPWD（一つ前のカレントディレクトリ）

• 代入

  変数名=[値]
  

  • 注意：=の両側に空白を入れてはいけない！
  • 値を指定しない場合は空文字列が代入される。
• 参照

  $変数名
  又は
  ${変数名}
  

  • 変数は特に宣言をしなくても参照することができる。
  • {}は基本的にあってもなくても構わないが、どこまでが変数か明確にしたい場合は{}をつける。

unset 変数名

readonly 変数名
又は
readonly 変数名=値

• これ以後、変数に値を代入しようとするとエラーになる

現在のシェルから呼び出されるコマンドへ引き継がれる変数。

export 変数名

又は

export 変数名=値

で指定する。

特定のコマンドのみに対して一時的に環境変数を設定したい場合は

変数名1=値1 変数名2=値2 ... コマンド

とする。たとえば、

PATH=/home/hoge/bin ./configure

のようにする。この場合、元の環境における変数には影響を与えない。

変数の値が未定義か空文字の場合、文字列に置換（変数に代入はしない）。

${変数名:-文字列}

変数の値が未定義か空文字の場合、文字列に置換して変数に代入。

${変数名:=文字列}

変数の値が未定義か空文字の場合、文字列に置換（変数に代入はしない）。

${変数名-文字列}

変数の値が未定義か空文字の場合、文字列に置換して変数に代入。

${変数名=文字列}

変数の値が未定義か空文字の場合、エラーを表示して強制終了。

${変数名:?}                  // デフォルトのエラーメッセージ
${変数名:?エラーメッセージ}  // エラーメッセージを設定

変数の値が空文字以外で定義されている場合、指定した文字列に置換（変数に代入はしない）。

${変数名:+文字列}

変数の値の一部を取り出す。開始位置は0以上。長さを省略すると最後まで。

${変数名:開始位置:[長さ]}

文字数。

${#変数名}

変数の先頭がマッチした場合、最短マッチ部分を削除

${変数名#パターン}

変数の先頭がマッチした場合、最長マッチ部分を削除

${変数名##パターン}

変数の末尾がマッチした場合、最短マッチ部分を削除

${変数名%パターン}

変数の末尾がマッチした場合、最長マッチ部分を削除

${変数名%%パターン}

パターンにマッチ（最長一致）した部分を文字列で置換する

${変数名/パターン/文字列}   ← 最初にマッチした部分のみ置換
${変数名//パターン/文字列}  ← 全てのマッチした部分を置換

パターンとして使える文字

間接展開：変数の値を変数名として展開

${!変数名}

大文字へ変換

${変数名^^}

一文字目のみ大文字へ変換

${変数名^}

小文字へ変換

${変数名,,}

一文字目のみ小文字へ変換

${変数名,}

FILE=temp.$$

プロセスIDは一意に決まるので、重複しないファイル名を生成することができる。

set -u

PNG=abc.png
GIF=${PNG%.png}.gif

$ FILE=/home/hoge/test.dat
$ echo ${FILE##*/}
test.dat

• basenameというコマンドを使う方法もある。

  $ basename /home/hoge/test.dat
  test.dat
  

FILE=/home/hoge/test.dat
DIR=${FILE%/*}

FILE=abc.png
EXT=${FILE##*.}

$ NUM=12345
$ echo ${NUM:${#NUM}-1:1}
5

[ "${DIR:0:1}" != "/" ] && DIR=$(pwd)/${DIR}

• "i"の数をカウントする例

  $ A="This is a pen"
  $ TMP=$( echo ${A} | sed -e 's/[^i]//g' )
  $ echo ${#TMP}
  2
  

配列名[要素番号]=[値]

• 注意：=の両側に空白を入れてはいけない！
• 特に宣言をしなくても配列に代入することができます。要素番号は0以上で指定する。
• 例

  A[0]="abc"
  A[1]="ABC"
  A[2]=-100
  

${配列名[要素番号]}

• 変数と同様、特に宣言をしなくても配列を参照することができる。要素番号は0以上で指定する。
• 例

  echo ${A[2]}
  echo ${A[1]}
  echo ${A[0]}
  

${配列名}

これは ${配列名[0]} と同じ意味である。

配列名=( 要素1 要素2 ... )

• 配列に値を一気に代入する。空白が配列の切れ目になる。
• 例1

  array=( Jan Feb Mar Apr )
  echo ${array[2]}
  

• 例2: 現在のディレクトリの内容を配列に格納

  LS_RESULT=( $(ls) )
  

  • この例は後述のforループで用いると有用。
• 例3: 配列を空にする

  array=( )
  

一括代入で要素を指定する代わりに

[要素番号]=要素

とすると、要素番号を指定して代入することができる。たとえば、

A=( DJF [2]=MAM SON )

は "DJF" 空 "MAM" "SON" の順に格納される

${配列名[@]}
又は
${配列名[*]}

• 厳密には上の二つの意味は異なる。
  • "${配列名[@]}": "${配列名[0]}" "${配列名[1]}" "${配列名[2]}"...
  • "${配列名[*]}": "${配列名[0]}<SEP>${配列名[1]}<SEP>${配列名[2]}..."
    • <SEP>は特殊変数IFSの第1文字目。
    • 空白の要素に対応するため、参照の際はダブルクオートで囲っておいた方がよい

• 例1

  array=( Jan Feb Mar Apr )
  echo "${array[@]}"
  

• 例2: 現在のディレクトリの内容を配列に格納して表示

  LS_RESULT=( $(ls) )
  for FILE in "${LS_RESULT[@]}" ; do
      echo ${FILE}
  done
  

変数の展開は配列に対して一括して適用できる。たとえば、

${配列名[@]%.txt}

は全ての配列の要素に対して末尾が ".txt" の場合に削除する

${#配列名[@]}

• 例1

  A=( DJF JJA MAM SON )
  echo ${#A[@]}
  

• 例2: 配列の中身を表示（for 〜 in 〜 を使わない例）

  A=( DJF JJA MAM SON )
  for(( i=0; ${i}<=${#A[@]}-1; i=${i}+1 )) ; do
      echo "${A[$i]}"
  done
  

${!配列名[@]}

• 例1

  A=( DJF [2]=MAM SON )  # "DJF" 空 "MAM" "SON" と格納される
  echo "${!A[@]}"
  for i in "${!A[@]}" ; do
    echo "${A[$i]}"        # 値がある配列のみ表示
  done
  

• その1

  A=( DJF JJA MAM )
  A=( "${A[@]}" SON )
  

• その2

  A=( DJF JJA MAM )
  A[${#A[@]}]=SON
  

• その3

  A=( DJF JJA MAM )
  A+=( SON )
  

$ A=( abc def ghi )
$ A+=( "${A[((${#A[@]}-1))]}" )
$ echo "${A[@]}"
abc def ghi ghi

• 応用例：関数化

  function repeat_last()
  {
    while [ "$1" != "" ] ; do
      local NAME=$1
      eval local LAST="\${${NAME}[((\${#{NAME}[@]}-1))]}"
      eval "${NAME}+=( ${LAST} )"
      shift
    done
  }
  

  • evalで評価されたくない変数をエスケープするのが肝
  • 利用

    $ A=( abc def ghi )
    $ B=( ABC DEF GHI )
    $ repeat_last A B
    $ echo "${B[@]}"
    ABC DEF GHI GHI
    

B=( "${A[@]:2:3}" )

• この場合、B[0]=A[2], B[1]=A[3], B[2]=A[4]になる。

A=apple,banana,grape
B=( $( echo ${A} | sed -e "s|,| |g" ) )

A[0]=apple
A[1]=banana
A[2]=grape
B=""
for TMP in "${A[@]}" ; do
  B=${B}${B:+,}${TMP}
done

AR=( AAA CCC BBB AAA CCC )
AR=( $( IFS=$'\n' ; echo "${AR[*]}" | sort | uniq ; ) )

• 同時にソートもされる。
• IFS=〜をARの前に持ってくると意味が変わるので注意！（新しい配列の区切り文字もIFSになってしまう）

IFS=$'\n'      // 配列の区切り文字を改行に変更
配列名=( $( { echo "${配列名1[*]}" ; echo "${配列名2[*]}" } | sort | uniq -d ) )

IFS=$'\n'      // 配列の区切り文字を改行に変更
配列名=( $( { echo "${配列名1[*]}" ; echo "${配列名2[*]}" } | sort | uniq -u ) )

連想配列名["key名"]=[値]

• 例

  A["Tree"]="Ki"
  A["Forest"]="Mori"
  

${連想配列名["key名"]}

• 例

  echo ${A["Tree"]}
  echo ${A["Forest"]}
  

連想配列名=( ["key-1名"]=値-1 ["key-2名"]=値-2 ... )

任意の文字列を生成する展開。{ } 内でコンマで区切って文字列を指定すると、それら全ての組み合わせで文字列を生成する。右から展開される。入れ子も可能。以下の例のように文字列の一部が共通の場合に威力を発揮する。

• 例1

  $ rm test{A,BB,CCC}
  $ rm testA testBB testCCC  // 上と同じ意味
  

• 例2

  $ ls /home/hoge/{bin,lib,exe}
  $ ls /home/hoge/bin /home/hoge/lib /home/hoge/exe  // 上と同じ意味
  

• 例3

  $ echo a{a,b,{c,cc,ccc}}
  aa ab ac acc accc
  

規則性のある文字列は、..を利用することも可能。

• 例4

  $ echo {1..5}
  1 2 3 4 5
  $ echo {5..1}
  5 4 3 2 1
  $ echo {001..005}
  001 002 003 004 005
  $ echo {a..z}
  a b c d e f g h i j k l m n o p q r s t u v w x y z
  $ echo {00..23}:{0..5}{0..9}
  00:00 00:01 00:02 00:03 00:04 00:05 00:06 00:07
  ...(中略)...
  23:52 23:53 23:54 23:55 23:56 23:57 23:58 23:59
  

チルダで始まる単語は、チルダ展開の候補となる。チルダ展開文法を含む単語には、チルダ展開以外の文字列を含んではいけない。

現在ログインしているユーザのホームディレクトリ（$HOME）に置換

~
~/

指定したログイン名のユーザのホームディレクトリに置換

~ログイン名
~ログイン名/

現在のワーキングディレクトリ（PWD）に置換

~+
~+/

一つ前のワーキングディレクトリ（OLDPWD）に置換

~-
~-/

変数の展開を参照。

if 処理A ; then
  処理1
elif 処理B ; then
  処理2
else
  処理0
fi

• 「elif〜処理2」と「else〜処理0」は省略可能。
• 「elif〜処理2」は何度でも繰り返し可能。
• 処理Aの終了ステータスが0の場合、処理1が実行される。
• 処理Bの終了ステータスが0の場合、処理2が実行される。
• どのif,elifでも処理が実行されない場合、処理0が実行される。
• 例

  A="ABC"
  if ［［ "${A}" == "abc" ］］; then
    echo "if ok"
  elif ［［ "${A}" = "ABC" ］］
    echo "elif ok"
  else
    echo "else ok"
  fi
  

  • これを実行すると"elif ok"と表示される。

case 変数 in
パターン1)
  処理1
  ;;
パターン2)
  処理2
  ;;
 *)
  デフォルト処理
  ;;
esac

[[（bashの複合リスト構文）や[（実体はtestコマンド）で利用可能。

ファイル関連

文字列

整数の算術演算

変数

if [[ -f test.txt ]］ ; then
  echo "Regular file exists!"
else
  echo "Regular file does not exist!"
fi

[[ 文字列 =~ パターン ]］

の形で用いる。以下、例：

• 例1

  if [[ "abcde" =~ ^ab ]］ ; then 
    マッチした場合・・・
  endif
  

• 例2

  if [[ "12345" =~ ^1([2-4]+) ]］ ; then 
    echo ${BASH_REMATCH[0]}  // マッチ文字列全体を表示
    echo ${BASH_REMATCH[1]}  // マッチした1番目の括弧内を表示
  endif
  

• 例3

  if [[ "abcde" =~ ^ab|AB ]］ ; then 
    マッチした場合・・・
  endif
  

マッチしない場合は以下のような形で用いる

[[ ! 文字列 =~ 正規表現 ]］

特別な意味を持った文字

if [[ -L file-name -a ! -f file-name ]］ ; 
  ・・・処理・・・
fi

• [] の外側で && や || を使うことで複雑な表現が可能。

  if [ ${AAA} -eq 1 -o ${AAA} -eq 2 ] && [ ${BBB} -eq 1 ]; then
    ...
  fi
  

if [[ "${AAA}" =~ ^-?[0-9]*$ ]] ; then
   ...
fi

for 変数名 in 値1 値2 ... ; do
  処理
done

• 変数に値1, 値2... が順番に展開されながら処理を繰り返す。

for(( 算術式1; 算術式2; 算術式3 )) ; do
  処理
done

• 算術式1: 最初に評価される。
• 算術式2: 繰り返しの度に評価される。これが真の間繰り返す。
• 算術式3: 繰り返しの度に最後に評価される。
• 算術式で使える演算子は「演算」の項を参照。

while 処理A ; do
  処理1
done

• 処理Aが終了ステータス0を返しつづける間、処理1を繰り返し実行する。

break [深さ]

• for, while, until, select ループから脱出します。
• 深さは脱出したいループの深さ。省略時は1、つまり一番内側のループから抜ける。

continue [深さ]

• for, while, until, select ループの先頭に戻る。
• 深さは先頭に戻りたいループの深さ。省略時は1、つまり一番内側のループの先頭に戻る。

seq 1 30
seq -w 1 30     // 同じ桁数になるように0を埋める
echo ${01..30}  // ブレース展開を利用

• 例

  for i in $( seq -w 1 30 ) ; do
    echo $i
  done
  

  • for(( i=1; i<=30; i=$i+1 )) では0を埋めることができない。

    ちなみに連番の区切り文字を変えたい場合は、-s で指定できる。

while :
do
  (処理)
done

• コロン(:)はヌルコマンド。これは常にtrueを返す。

YMD="2001-03-05"
date --date "${YMD}" +%Y%m%d

YEAR=2004
for(( d=0 ; $d<=365; d=$d+1 )) ; do
    date --date "${YEAR}-01-01 +${d}days" +%Y%m%d
done

YEAR=2000
date --date "${YEAR}-01-01 +1year-1days" +%j

YEAR=2000
MONTH=2
date --date "${YEAR}-${MONTH}-01 +1month-1days" +%d

• 整数のみ利用可能。
• man bash で ARITHMETIC EVALUATION の項を参照のこと。

  演算子	意味
  v++, v--	後置インクリメント, 後置デクリメント（つまり参照してから1を足す or 引く）
  ++v, --v	前置インクリメント, 前置デクリメント（つまり1を足した or 引いた後参照）
  -, +	単項-演算, 単項+演算（つまり単なる符号）
  !, ~	論理否定, ビット毎の否定
  **	べき乗
  *, /, %	乗法, 除法, 剰余
  +, -	加算, 減算
  <<, >>	左ビットシフト, 右ビットシフト
  <=, >=, <, >	比較
  ==, !=	比較（等価, 不等価）
  &	ビット毎のAND演算
  ^	ビット毎の排他的OR演算
  ｜	ビット毎のOR演算
  &&	論理積
  ｜｜	論理和
  expr?expr:expr	条件付き演算
  =, *=, /=, %=, +=, -=, <<=, >>=, &=, ^=, ｜=	代入

  , ｜列挙

利用例

Tips: 変数に1を加える

変数名++    <-参照してから1を加える
++変数名    <-先に変数に1を加えてから参照する

• let: bash算術式の評価（整数のみ）、bashの組み込みコマンド
• expr: 整数のみ
• bc: 小数もOK、複雑な式に対応、指数形式には対応していない
  • bcでも手に余る場合はperl等を使えばよい

    perl -e "print 演算式"
    

let (算術式)
((算術式))  　　  <-上と等価の別表現

• 算術式は上を参照
• 変数名に$はつけない！
• 例

  $ A=2
  $ let A++
  

expr (値1) (演算子) (値2)

• 値1, 値2は整数である必要がある。
• 演算子は「演算子一覧」を参照。
• 条件式の場合、真ならば1、偽ならば0を返す。

echo "scale=5; 40000/3000" | bc

echo "scale=20; 1/30000" | bc | xargs printf "%.5e\n" 

if [ $( echo "${VALUE} >= 0" | bc ) -eq 1 ] ; then
  ...(VALUE>=0の時の処理)...
else
  ...(VALUE<0の時の処理)...
fi

echo "scale=5; l(12345)/l(10)" | bc -l

ls -ul

ls -d

• デフォルトの権限を表示（666から値を引く）

  umask
  

• デフォルトの権限を設定

  umask 値
  

chmod [-R] mode[,mode-2] file [file-2 ...]

• 子ディレクトリも含めて権限を設定したい場合は-Rをつける
• modeの設定方法その1：記号モード
  • 書式：[ugoa...][[+-=][permissions]...]
  • +:追加、-:削除、=:上書き
  • permissions：[rwx] 等もしくは [ugo]（同じ権限に変更する）
• modeの設定方法その2：ビットパターン（e.g. 755, 644, ...）

find . -type d -print0 | xargs -0 chmod -R mode
find . -type f -print0 | xargs -0 chmod -R mode

• 以下を .bashrc 等に書いておくと便利

  # chmod directory recursively
  function chmodd()
  {
      MODE=$1
      shift
      while  "$1" != "" ? ; do
          command find $1 -type d -print0 | xargs -0 chmod -R ${MODE}
          shift
      done
  }
  function chmodf()
  {
      MODE=$1
      shift
      while  "$1" != "" ? ; do
          command find $1 -type f -print0 | xargs -0 chmod -R ${MODE}
          shift
      done
  }
  

  • 使い方

    $ chmodd a+r dir1 dir2
    

realpath --relative-to=ref-dir target-dir

たとえば

/A/123
/B/456

というディレクトリがあったとき、

realpath --relative-to=/A/123 /A/456

とすると

../456

が得られる。

diff -EwB file-1 file-2

diff -r dir-1 fir-2

テキストファイルの内容又は標準出力をそのまま出力する。

cat [ファイル名...]

テキストファイルの内容又は標準出力を行単位で逆順に出力する。

tac [ファイル名...]

テキストファイルの内容又は標準出力を文字単位で逆順に出力する。

rev [ファイル名...]

sed (ファイル名) -e '1d'

sed (ファイル名) -e '3,7d'

sed (ファイル名) -e '$d'

sed (ファイル名) -e '/^ *$/d'

sed (ファイル名) -e '1{ /正規表現/d }'

• 「正規表現(最初)」〜「正規表現(最後)」のみを表示する

  sed (ファイル名) -e "/正規表現(最初)/,/正規表現(最後)/p" -e d
  

• 「正規表現(最初)」〜「正規表現(最後)」を削除

  sed (ファイル名) -e "/正規表現(最初)/,/正規表現(最後)/d"
  

sed (ファイル名) -e '/正規表現1/,/正規表現2/{ /正規表現3/d }'

• 5行目を取り出す例

  sed (ファイル名) -e "5,5p" -e d
  

sed (ファイル名) "s/^/文字列/"
sed (ファイル名) "s/$/文字列/"

STR="1 2 3 4 5 6 7 8 9 10 11 12"
N=3
STR=$( echo ${STR} | sed -e "s/\(\([^ ]\+ \+\)\{${N}\}\)/\1\n/g" )
echo "${STR}"

• 注意：echo時に""で囲まないと改行は空白として扱われるので注意！

• "abc"にマッチした行の次の次の行を取り出す例

  sed -n -e '/abc/{n;n;p;}'
  

  • そんなに自信があるわけではないが・・・

sed test.txt -e "s/^/  /"

• 2列目と4列目を取り出す例

  cat test.txt | awk '{ print $2 $4 }'
  

• 拡張子を取り出す例（ファイル本体に.が入っていても大丈夫）

  echo "test0.1.txt" | awk -F . '{ print $NF }'
  

echo "AAA BBB CCC" | awk '{ print $1, 123, $3 }' 

• 列の数が不定もしくは多数の場合は以下

  echo "AAA BBB CCC DDD EEE FFF GGG" | awk '{ out=$1" 123" ; for( i=3 ; i<=NF ; i++ ){ out = out""$i } ; print out }' 
  

echo "aaa 10 20 30" | awk '{ print $1, $2, $3/2, ($4+1)*3 }' 

オプション -v で awk 内で通用する変数を定義できる。

echo "aaa 10 20 30" | awk -v A=5 '{ print $1, $2, $3/A, ($4+1)*3 }' 

cut [-b byte] [-c word] [-f field [ -d sep ] ]  [file-1 file-2 ...]

• b: バイト単位で取り出す
• c: 文字数単位で取り出す
• f: フィールド単位で取り出す。
  • d: 区切り文字 sep はタブがデフォルト。
• フィールドの指定方法(フィールド番号≧1)：バイト・文字数についても同様。

  -f 3	3番目のフィールド
  -f 2-5	2-5番目のフィールド
  -f 1,5	1番目と5番目のフィールド
  -f 5-	5番目以降のフィールド

• ファイル名を指定しない場合、又は "-" を指定した場合は標準入力から読み込む。

paste [-d sep] [file-1 file-2 ...]

• d: 区切り文字 sep はタブがデフォルト。
• ファイル名を指定しない場合、又は "-" を指定した場合は標準入力から読み込む。

grep -v 〜

grep -l 〜

• その1

  VALUE=12
  VALUE=$( printf "%04d" ${VALUE} )
  

• その2

  VALUE=12
  VALUE=$( echo ${VALUE} | awk '{ printf("%04d\n",$1) }' )
  

VALUE=0012
VALUE=$( echo ${VALUE} | awk '{ printf("%d\n",$1) }' )

VALUE=1234567
echo ${VALUE} | rev | sed -e "s/\([0-9][0-9][0-9]\)/\1,/g" | sed -e "s/,$//" | rev

VALUE=12
VALUE=$( printf "%4d" ${VALUE} )

awk '{ printf("%20s",$1) }'

VALUE=12
VALUE=$( printf "%-4d" ${VALUE} )

echo "a  b c   d" | tr -s " "

• cut -f で処理する場合に便利

$ echo "This is a pen." | tr "a-z" "A-Z" 

d

ディレクトリ

f

ファイル

l

シンボリックリンク

• 例：シンボリックリンクのみ検索する

  find . -type l
  

find . -name "name1" -o -name "name2" -o -name "name3" ...

find . -name "hoge" -type d -print0 | xargs -0 rm -r 

• find の -print0 は空白の代わりにヌル文字を区切り文字とする。
• xargsの -0 はヌル文字を区切り文字とする。
• こうすることでディレクトリリストに空白等の特殊文字が入っていても対処できる。

方法1

find . -name "hoge" -type d -print0 | xargs -0 chmod a+rx

方法2

find * -type d -exec chmod o+x {} \;

• findの結果はアルファベット順を保証していないようなので sort コマンドを利用して並べ替える。
  • 例

    find . -name abc | sort
    

• 例（ついでにソート）

  find . -type f -name '*.f90' -o -name '*.c' -o -name '*.f' -o -name '*.h' | xargs wc -l | sort -n
  

od [オプション...] [ファイル名...]

ファイルや標準入力のデータをバイナリダンプする。一番左端にアドレス、その右側に値が表示される。

同じ内容が続く場合は*でまとめられる。これが不要な場合はオプション -v を利用する。

デフォルトでは、アドレスは8進数、値は2バイト毎に8進数、で表示される。このような表示フォーマットは -t オプションに与える引数で切り替えられる。

a

値を文字列で表示。"-t a" は "-a" でも代用可能

o[SIZE]

値を8進数でSIZEバイト毎に表示

d[SIZE]

値を符号あり10進数でSIZEバイト毎に表示

f[SIZE]

値を浮動小数点でSIZEバイト毎に表示

u[SIZE]

値を符号なし10進数でSIZEバイト毎に表示

x[SIZE]

値を16進数でSIZEバイト毎に表示

エンディアンの切り替えは --endian で指定する

--endian=big

ビッグエンディアン

--endian=little

リトルエンディアン

• 例：値を文字列で表示

  od -t a
  

• 例：値を8進数で1バイト毎に表示

  od -t o1
  

• 例：値を4バイト浮動小数点で表示

  od -t f4
  

dd [if=入力ファイル名/stdin]
   [of=出力ファイル名/stdout]
   [bs=読み書きブロックサイズ/512]
   [skip=入力ファイルの開始ブロック/0]
   [seek=出力ファイルの開始ブロック/0]
   [count=切り出しブロック数]

• 例：144x72の4バイト2次元データからタイムステップ9-12だけ取り出す

  let bs=4*144*72
  dd if=input.grd of=output.grd bs=${bs} skip=8 count=4
  

tar -cvf hoge.tar.gz hoge

• vはログを出力するオプション（なくてもよい）

tar -uvf hoge.tar.gz hoge

• 圧縮をかけている場合は利用できない
• 新しいファイルは末尾に追記されるので、結果的にアーカイブに同名のファイルが複数存在する可能性がある（解凍時のオプションで上書き等を指定可能）

• tar.gz

  tar -tvzf hoge.tar.gz
  

• tar.gz

  tar -xvzf hoge.tar.gz hoge.txt ...
  

rsync -av --progress --include '/hoge/' --include '/hoge/abc/'  --include '/hoge/abc/**' --exclude '*' /disk1/* /disk2/

rsync -av --progress --include '*/' --include '*/abc.dat' --include '*/*.txt' --exclude '*' /disk1/* /disk2/

• デフォルトではシンボリックリンクはコピーされるが、リンク先のデータはコピーされない
• シンボリックリンク先のデータを全てコピー

  rsync -av --progress --copy-links /disk1/* /disk2/
  

• シンボリックリンク先がコピー元ディレクトリ内をさす場合、リンク先のデータをコピーする

  rsync -av --progress --safe-links /disk1/* /disk2/
  

• シンボリックリンク先がコピー元ディレクトリ外をさす場合、リンク先のデータをコピーする

  rsync -av --progress --copy-unsafe-links /disk1/* /disk2/
  

• 0: 正常終了
• 0以外: 異常終了
• command1 が正常終了したら command2 を実行する

  command1 && command2
  

• command1 が異常終了したら command2 を実行する

  command1 || command2
  

seq [オプション] [ 開始値 [増分] ] 終了値

• 開始値・増分を省略した場合は1
• オプション

-s 区切り文字

区切り文字を変更（デフォルト：改行）

-w

先頭を0で埋める

• 例

  $ seq 5 10 25
  5
  15
  25
  35
  

: <<'#_COMMENT_OUT_'
〜この間の処理は全て無効〜
#_COMMENT_OUT_

ちなみに : は「何もしないコマンド」。このコマンドに標準入力でコメントにしたい部分を読み込む形で、複数行コメントを実現している。

{ コマンド1; コマンド2; ... }

最後のコマンドの後ろにも;が必要なので注意。

mkdir -p dir1/dir2/dir3

ディレクトリが既に存在する場合でもエラーにはならない。

pwd -P

シンボリックリンクを使っている場合は解決される。

readlink -f sdir

cat ファイル名 | while read LINE ; do
  echo ${LINE}
done

• 最終行に改行が含まれない場合、読み込まれないことに注意。
• パイプラインの先は別プロセスなので、ループ内部で変更された変数はループ外に影響を与えないので要注意。
  • 標準出力を介するのが正解か

type command

たとえば

$ type julia
julia は /usr/bin/julia です

• test.sh

  if type julia > /dev/null ; then
     echo "exist!"
  endif
  

time -v command

• "Maximum resident set size" が最大メモリ使用量。
• ログファイルに出力する場合は以下：

  time -v -o log-filename command
  

• メモリ使用量以外の表示を抑制したい場合は以下：

  time -f "%M" command