Resumo |
Com o advento da internet os dados se tornaram ainda mais preciosos e, em um mercado altamente competitivo, o uso de bots para a coleta automática de diversos tipos de dados tem influenciado em decisões importantes nas grandes corporações. O web scraping, do inglês "raspagem da web", é o processo de coleta e tratamento de dados públicos disponíveis na web, e seu uso eficaz traz a grandes e pequenas empresas uma notável economia de tempo e recursos. Com isso em mente, o principal objetivo deste projeto é coletar, manipular e organizar dados referentes aos rendimentos mensais de fundos imobiliários listados na B3 bem como a composição do IFIX. É importante se ter cautela ao "raspar" dados da web, pois, o mal uso do web scraping pode acarretar problemas jurídicos. Por isso, todos os dados utilizados neste projeto seguem as regras impostas pelo site oficial da B3. O Python, linguagem de programação de alto nível amplamente usada para o web scraping, e bibliotecas como Selenium, Beautiful Soup e o Pandas, foram tecnologias utilizadas para o desenvolvimento dos bots responsáveis pela "raspagem" dos sites. A primeira tarefa foi coletar o ID e a participação percentual de cada Fundo de Investimento Imobiliário (FII). Através do site oficial da B3, elementos necessários foram baixados e tratados, permitindo transformar código HTML, em informações manipuláveis. Além do ID e da participação percentual, o provento e a cotação de cada FII foram necessários, sendo que o valor da cotação refere-se somente ao último dia útil do mês. A partir destes dados foi calculado o dividend yield do IFIX naquele mês. Agora basta dizer aos bots quais meses analisar e, através de uma biblioteca simples e gratuita como o Matplotlib, visualizar em um gráfico a variação do dividend yield do IFIX. Embora o objetivo do projeto pareça simples, sua aplicação evidência a extrema importância do web scraping, além disso, o projeto também ressalta como o aprendizado de uma linguagem de programação como o Python pode ser útil no dia a dia de qualquer pessoa. |