Usando bash para web scraping
10/11/2020
Um amigo pediu ajuda para pegar alguns dados de uma página web, então eu decidi escrever um pequeno script em bash para fazer o trabaho.
Você deve estar se perguntar por que bash. A ideia era ter a menor quantidade de trabalho para completar o script. Como eu uso Linux, o bash já estava pronto para o serviço, auxiliado de alguns outros programas:
- curl
- grep
- sed
- printf
- echo
Outra razão de usar bash ao invés de node.js ou python é que eu gostaria de melhorar meus conhecimentos de bash. Me parece uma ferramenta MUITO útil.
# $# é a variável que guarda o tamanho (length) do vetor de argumentos
# Se o tamanho do vetor de argumentos for menor que 1
if [ "$#" -lt 1 ]; then
# Ensine como usar o script
echo "Use o script com pelo menos um ticker. ex.:"
echo "./miner.sh ticker1 [ticker2 [ticker3...]]"
exit 1
fi
# Coloque todos os argumentos na variavel TICKERS
TICKERS=$@
# A URL da página para minerar
URL=https://algo.com.br/algumacoisa/
# Cabeçalhos em texto para imprimirmos os dados
headers=( \
"VAL P" \
"DY CAGR 3a" \
"AVG. 24m" \
)
# Imprimir os os cabeçalhos dos dados
printf "%10s\t%10s\t%20s\t%20s" "TICKER" "${headers[0]}" "${headers[1]}" "${headers[2]}"
echo
# Para cada ticker passado como argumento
for TICKER in $TICKERS; do
# Pegue a página como texto, e passe para...
# Ache cada linha que contém o texto 'class="value"', e passe para...
# use uma expressão regular para achar o conteúdo entre ">" e "<" e...
# salve cada linha como um item de um vetor $data
data=($(curl -s $URL$TICKER | grep 'class="value"' | sed -En 's/[^>]*>([^<]*).*$/\1/p'))
# Imprima na tela os dados que queremos desse ticker
printf "%10s\t%10s\t%20s\t%20s" ${TICKER} ${data[5]} ${data[8]} ${data[11]}
echo
done
exit 0Eu aposto que existem jeitos melhores de imprimir bonito esses dados, na verdade devem existem maneiras muito melhores de fazer um monte de coisa. Aquele grep | sed me parece muito estranho, maaaaas...
O SCRIPT CUMPRIU O PROPÓSITO!
Depois ele acabou perguntando se dava para "rodar" o script dentro de uma planilha do google, e eu escrevi um código equivalente no gscript, mas isso fica para um post futuro.
Espero que tenha gostado, continue programando!
marcel0ll