3 de dez de 2018

C a f e í n a

Olá meu caro,

Hoje eu vou compartilhar com vocês alguns benefícios da ingestão do café. Acredito que é uma rotina comum das pessoas que trabalham com TI ouvirem dizer que os profissionais dessa área não sobrevivem sem café e também que quando um profissional de TI se disponibiliza a  doar sangue sai café da suas artérias, sabemos também que isso não é uma verdade empírica porém é verdade que o profissional de TI ingere bastante café durante sua jornada de trabalho, não é atoa que ocupamos uma posição privilegiada no ranking dos profissionais que mais consomem café, o dado faz parte da pesquisa anual sobre consumo da bebiba, feita pelo site CareerBuilder em parceria com a rede Dunkin’ Donuts.



  Eu     +      ☕       =  



Top 10 profissionais que mais consomem café 



1- Profissionais da área de alimentação
2- Cientistas
3- Representantes de vendas
4- Relações Públicas/marketing
5- Enfermeiros
6- Jornalistas e escritores
7- Executivos
8- Professores
9-  Engenheiros
10- Profissionais de TI/administradores de rede
Link da pesquisa CareerBuilder


Beber café deixa você mais inteligente

Uma das principais substâncias contidas no café, a cafeína, é um potente estimulante psicoativo. Quando você bebe o café, uma parte dessa substância vai para o seu cérebro e gera uma série de reações químicas que faz com que seu cérebro trabalhe mais rapidamente, melhorando seu humor, energia, memória, tempos de resposta e funcionamento cognitivo geral.






Os efeitos do café 

Pesquisando sobre os efeitos do café, encontrei no site cafeicultura  alguns dos efeitos do café no corpo após N minutos de sua ingestão.  Após 30 minutos temos o "melhor" efeito dessa bebida. Veja: 


30 minutos  

Neste ponto, seu corpo começa a produzir mais adrenalina em resposta à cafeína. A adrenalina aumenta ainda mais a sua produção de energia. Também dilata as vias respiratórias e aumenta o fluxo sanguíneo para os músculos. Assim, o seu desempenho físico ganha um grande impulso após 30 minutos.




Como mantenho minha produtividade durante todo o dia 
Garrafa térmica de café

Pode parecer vício, é vício mesmo, vício de energia, vício de aumento na performance. Cheguei a comprar uma garrafa térmica de café para poder carrega-lá com café durante o dia por onde é que eu vá. Para ficar claro, eu não bebo grande quantidade de café durante o dia, o consumo em exagero pode causar problemas de saúde.  Boa sorte e que você tenha ótimos momentos de produtividade sempre que ingerir café :) . 




Até o próximooo. : ) 



23 de nov de 2018

Overview de comandos Hadoop HDFS


Olá meu caro,


Fico feliz em recebe-ló aqui. Este post irá abordar comandos utilizados no Hadoop HDFS . Meu ambiente hadoop de estudos foi baixado no site oficial da cloudera, vc pode baixa-ló clicando aqui.
Para quem não sabe eu sou estudante de Ciência de dados, e, durante o aprendizado na pós graduação neste ano de 2018, conheci muitas ferramentas, muitas tecnologias e com isso surge o interesse do mundo de Big data, esse tem me chamado bastante atenção e vontade de me aprofundar cada vez mais e mais  e buscar a entender em como esse grande volume de dados são organizados e o que está por trás de tudo isso. Eu disponibilizei leituras recomendadas sobre os conceitos que rodeiam o assunto abordado no final do post, leiam. 



  B  E L E Z A ! VAMOS LOGO COM ISSO!!  EU VIM AQUI VER OS COMANDOS!! 





Primeiro vou acrescentar um pequeno resumo sobre o que é HDFS. Os conceitos colocados aqui foram retirados do site do proprietário da ferramenta a APACHE.  




O que é e para serve HDFS? 



O Hadoop Distributed File System (HDFS) é um sistema de arquivos distribuído projetado para ser executado em hardware comum. Tem muitas semelhanças com sistemas de arquivos distribuídos existentes. No entanto, as diferenças de outros sistemas de arquivos distribuídos são significativas. O HDFS é altamente tolerante a falhas e foi projetado para ser implantado em hardware de baixo custo. O HDFS fornece acesso de alto rendimento aos dados do aplicativo e é adequado para aplicativos que possuem grandes conjuntos de dados. O HDFS relaxa alguns requisitos POSIX para ativar o acesso de streaming aos dados do sistema de arquivos. O HDFS foi originalmente criado como infraestrutura para o projeto do mecanismo de pesquisa da Web Apache Nutch. O HDFS faz parte do projeto Apache Hadoop Core. O URL do projeto é http://hadoop.apache.org/

Para uma abordagem mais apronfudada sobre o assunto leia links em leituras recomendadas ao final deste post! 



Visão geral dos comandos 


Você conhece o POSIX? Pois é,  os comandos do HDFS seguem  esta norma, que define a interface de programação de aplicações, juntamente com shells de linha de comando e interfaces utilitárias, para compatibilidade de software com variantes de Unix e outros sistemas operacionais.

Para quem está acostuma com Linux, não sentirá dificuldade em operar no terminal para manipular o sistemas de arquivos.



Todos os comandos do HDFS são chamados pelo script bin/hdfs. Executar o script hdfs sem nenhum argumento imprime a descrição de todos os comandos.
Usage: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Para chamar os comandos você pode utilizar: 
hadoop fs [COMMAND, OPTIONS]
OU
hdfs dfs [COMMAND, OPTIONS]

Sendo que o primeiro está sendo substituído pelo 2º (hdfs dfs). 

  • cat

Função: Concatenar arquivos e imprimir na saída padrão


Exemplo: 
hdfs dfs -cat /user/cloudera/file1 
  • ls 
Função: listar o conteúdo do diretório


Exemplo:
hdfs dfs -ls /user/cloudera/file1 

Opções:

-C: Exibe apenas os caminhos de arquivos e diretórios.
-d: Os diretórios são listados como arquivos simples.
-h: formata os tamanhos dos arquivos de forma legível (por exemplo, 64,0m em vez de 67108864).
-q: Imprimir? em vez de caracteres não imprimíveis.
-R: lista recursivamente subdiretórios encontrados.
-t: Classifica a saída por hora da modificação (mais recente primeiro).
-S: Ordena a saída por tamanho de arquivo.
-r: Inverte a ordem de classificação.
-u: Use o tempo de acesso em vez do tempo de modificação para exibição e classificação.

  • mkdir
Função: Criar diretório


Exemplo:
hdfs dfs -mkdir -p /user/cloudera/dir1/subdir1
O comportamento da opção -p é muito parecido com o do Unix mkdir -p, criando diretórios-pais ao longo do caminho.

  • mv
Função: Mover e renomear arquivos e diretórios

Exemplo:
hdfs dfs -mv /user/cloudera/file1 /user/cloudera/file2
Esse comando também permite várias origens e, nesse caso, o destino precisa ser um diretório. Mover arquivos entre sistemas de arquivos não é permitido.

  • put
Função:  Copia arquivos do sistema local para o sistema de destino. Também lê entrada de stdin e grava no sistema de arquivos de destino.

Exemplo:
hdfs dfs -put arquivolocal /user/cloudera/dir1/arquivolocal
Esse comando também permite várias origens e, nesse caso, o destino precisa ser um diretório. Mover arquivos entre sistemas de arquivos não é permitido.

Opções:

-p: Preserva tempos de acesso e modificação, propriedade e permissões. (supondo que as permissões possam ser propagadas nos sistemas de arquivos)
-f: Sobrescreve o destino, se já existir.
-l: Permitir que DataNode preguiçosamente persista o arquivo em disco, Força um fator de replicação de 1. Esse sinalizador resultará em durabilidade reduzida. Use com cuidado.
-d: Ignora a criação do arquivo temporário com o sufixo ._COPYING_.

  • rm
Função:  Deleta arquivos especificados como argumentos. (Não remove diretórios vazios). Se a lixeira estiver ativada, o sistema de arquivos moverá o arquivo excluído para um diretório de lixeira.

Exemplo:
hdfs dfs -rm /user/cloudera/dir1/arquivolocal

Opções:
-f não exibirá uma mensagem de diagnóstico ou modificará o status de saída para refletir um erro se o arquivo não existir.
 -R exclui o diretório e qualquer conteúdo sob ele recursivamente.
-r é equivalente a -R.
 -skipTrash ignorará a lixeira, se ativada, e excluirá o (s) arquivo (s) especificado (s) imediatamente. Isso pode ser útil quando é necessário excluir arquivos de um diretório de excesso de cotas.
-safly exigirá uma confirmação de segurança antes de excluir o diretório com um número total de arquivos maior que hadoop.shell.delete.limit.num.files (em core-site.xml, padrão: 100). Pode ser
-skipTrash para impedir a exclusão acidental de diretórios grandes. O atraso é esperado ao percorrer um grande diretório recursivamente para contar o número de arquivos a serem excluídos antes da confirmação.


  • rmdir
Função:  Deleta diretórios. 

Exemplo:
hdfs dfs -rm /user/cloudera/diretorio-vazio
  • find
Função:  Localiza todos os arquivos que correspondem à expressão especificada e aplica as ações selecionadas a eles. Se nenhum caminho for especificado, o padrão será o diretório de trabalho atual. 

Exemplo:
hdfs dfs -find /user/cloudera/ -name arquivolocal -print
  • get
Função:  Copie arquivos para o sistema de arquivos local.

Exemplo:
hdfs dfs -get /user/cloudera/dir1/arquivo arquivo-local
  • help
Função:  Retorna o exemplo de usos dos comandos.

Exemplo:
hdfs dfs -help


E É isso meu caro, agora vamos praticar. Até o proxímoo! 





Leituras recomendadas!

File System Shell Guide

Hadoop Shell Commands

HDFS Architecture Guide

Oracle, Big Data


Unboxing Hadoop Distributed File System (HDFS)

16 de nov de 2018

Provisionando memória swap no linux a partir de um arquivo

Olá meu caro,

Você sabe como provisionar espaço na memória swap sem mesmo ter a necessidade de adicionar uma nova partição para tal? Se a resposta for não, então vamos aprender.

Se você chegou até aqui é por que provavelmente deseja provisionar espaço swap em seu sistema no intuito de otimizar a performance ou evitar burocracia de particionamento de disco.

É bastante comum a utilização de swap em sistemas Unix, é comum que maioria das configurações swap sejam feitas em partições configuradas e preparadas para abrigar espaço para memória virtual. Os arquivos para a swap são tão rápidos quanto as partições dedicadas a swap.

Neste post tomarei como exemplo que todos que estão lendo sabem o que é um espaço de swap, mas, caso você ainda não saiba do que se trata, pra que serve, como funciona e quais sistemas utilizam swap, segue o link  para o a consulta e aprendizado. Clique aqui.


      VAMOS LOGO COM ISSO, OOOH GOD QUANTA ENRROLAÇÃO.


Etapas

1ª - Criar um arquivo com o comando dd
2ª  - Utilizar o comando mkswap para configurar a área de swap
3ª - Delegar as permissões necessárias para o arquivo chmod 0600
4ª - Montar o a área de swap com o comando swapon
5ª - Configurar montagem automática no arquivo fstab

root@debian:/home/isweluiz# dd if=/dev/zero of=arquivoswap bs=1024 count=5000000
5000000+0 records in
5000000+0 records out
5120000000 bytes (5.1 GB, 4.8 GiB) copied, 35.2471 s, 145 MB/s

root@debian:/home/isweluiz# ls -hl
total 4.8G
-rw-r--r-- 1 root root 4.8G Nov 16 17:32 arquivoswap
2ª - Utilizar o comando mkswap para configurar a área de swap
root@debian:/home/isweluiz# mkswap arquivoswap
mkswap: arquivoswap: insecure permissions 0644, 0600 suggested.
Setting up swapspace version 1, size = 4.8 GiB (5119995904 bytes)
no label, UUID=70061b79-9721-42eb-b779-b2be3b34b6d1
3ª - Delegar as permissões necessárias para o arquivo chmod 0600
root@debian:/home/isweluiz# ls -l arquivoswap
-rw------- 1 root root 5120000000 Nov 16 17:35 arquivoswap
4ª - Montar a área de swap com o comando swapon
root@debian:/home/isweluiz# free -h
              total        used        free      shared  buff/cache   available
Mem:           996M        109M         63M         14M        823M        727M
Swap:            0B          0B          0B
root@debian:/home/isweluiz# swapon arquivoswap
root@debian:/home/isweluiz# free -h
              total        used        free      shared  buff/cache   available
Mem:           996M        110M         61M         14M        823M        726M
Swap:          4.8G          0B        4.8G
5ª - Configurar montagem automática no arquivo fstab

Siga o exemplo da imagem abaixo. Adicione o caminho do arquivo conforme linha 22


O arquivo esta montado e é possível verificar com o comando abaixo.
root@debian:/home/isweluiz# free -ht
              total        used        free      shared  buff/cache   available
Mem:           996M        110M         75M         14M        809M        726M
Swap:          4.8G          0B        4.8G
Total:         5.7G        110M        4.8G
root@debian:/home/isweluiz# uptime
 17:49:00 up  3:11,  1 user,  load average: 0.00, 0.00, 0.00
root@debian:/home/isweluiz# shutdown -r now

root@debian:/home/isweluiz# uptime
 17:51:13 up 1 min,  1 user,  load average: 0.42, 0.30, 0.12
root@debian:/home/isweluiz# free -ht
              total        used        free      shared  buff/cache   available
Mem:           996M        110M        768M         13M        117M        750M
Swap:          5.8G          0B        5.8G
Total:         6.7G        110M        6.5G
É isso ai, até o próximooo ; )


13 de nov de 2018

Veja como desabilitar o protocolo ipv6 em um sistema baseado em Red Hat/Debian


Desativar IPv6 no RedHat e Debian 9 





  1.  Abra uma janela de terminal.
  2.  Mude para o usuário root.
  3.  Emita o comando sysctl -w net.ipv6.conf.all.disable_ipv6 = 1.
  4.  Emita o comando sysctl -w net.ipv6.conf.default.disable_ipv6 = 1.



Para tornar essas configurações permanentes adicione as linhas abaixo no arquivo /etc/sysctl.conf 

# IPv6 disabled
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
Salve o arquivo e saia , aplique o restart no sysctl 


$ sudo sysctl -p
$ sudo sysctl -a





E é isso ;)