大數據語言有哪些?在巨大的數據集中進行篩選的最好工具是什么?以下是總結的十大合適大數據處理的編程語言。

1. R語言，R語言是數據科學的寵兒，R語言有著簡單而明顯的吸引力，使用R語言，只需要短短的幾行代碼，你就可以在復雜的數據集中篩選，通過先進的建模函數處理數據，以及創(chuàng)建平整的圖形來代表數字，它被比喻為是Excel的一個極度活躍版本。

2. Python，如果說R語言是一個神經質又可愛的高手，那么Python是它隨和又靈活的表兄弟，作為一種結合了R語言快速對復雜數據進行挖掘的能力并構建產品的更實用語言，Python迅速得到了主流的吸引力。

3. Julia，雖然當前的數據科學絕大多數是通過R語言，Python，Java，MatLab和SAS執(zhí)行的。但依然有其他的語言存活于夾縫中，Julia就是值得一看的后起之秀。

4. JAVA，Java不能提供R和Python同樣質量的可視化，并且它并非統(tǒng)計建模的最佳選擇。但是，如果你移動到過去的原型制作并需要建立大型系統(tǒng)，那么Java往往是你的最佳選擇。

5. Hadoop 和 Hive，Hadoop作為首選的基于Java的框架用于批處理數據已經點燃了大家的熱情。Hadoop比其他一些處理工具慢，但它出奇的準確，因此被廣泛用于后端分析。

6. Scala，Scala是另一種基于Java的語言，并且和Java相同的是，它正日益成為大規(guī)模機器學習，或構建高層次算法的工具。它富有表現力，并且還能夠構建健壯的系統(tǒng)。

7. Kafka和Storm，Kafka，誕生于LinkedIn內部，是一個超快速的查詢消息系統(tǒng)，Storm是用Scala編寫的另一個框架，它在硅谷中因為流處理而受到了大量的青睞。

8. MatLab，MatLab一直以來長盛不衰，盡管它要價不菲，但它仍然被廣泛使用在一些非常特殊的領域：研究密集型機器學習，信號處理，圖像識別等。

9. Octave，Octave和MatLab非常相似，但它是免費的。不過，它在學術性信號處理圈子之外很少見到。

10. GO，GO是另一個正在掀起浪潮的后起之秀。它由Google開發(fā)，從C語言松散地派生，并在構建健壯基礎設施上，正在贏得競爭對手。

大數據怎么學?

從局部到整體。說得通俗一點就是要腳踏實地，不要老是飄在天上，因為在天上看到的是一整個生態(tài)，你當然會看到有很多很多東西，但是如果你不走近看的話你是不會知道，其實有很多東西都是類似的，經典的理論就那么幾個，大家的系統(tǒng)很多都是照著這些理論去實現的，只是實現的方式會有些不一樣，所以同類型的產品可能場景會稍有不同，但是架構是非常類似的，熟悉了之后你會發(fā)現，分布式系統(tǒng)萬變不離其宗。

簡單地說，從一個入手，比如存儲，舉個例子可以從HBase入手，因為它算是一個比較經典的分布式存儲引擎，《Big Table》也是非常經典的一篇paper，HBase里面存在的LSM-Tree，Bloom Filter，壓縮，分區(qū)等等原理和概念在很多分布式存儲中也是適用的。

再比如，計算，mr很經典，但是我還是建議直接從Spark入手，它的很多設計是基于mr又超過了mr的，而且spark生態(tài)系統(tǒng)非常的全能，能干的事情非常多，先學Spark Core，搞懂編程模型，了解大概原理，接著學SparkSQL，了解catalyst等，再接著就是SparkStreaming，以及后面的StructedStreaming，學到到這里，如果學得足夠有深度，Flink也是可以輕松拿下的了，二者都大量借鑒了《DataFlow》這篇paper的理論，還是那句話，萬變不離其宗。

還有很多的其他的例子，比如調度系統(tǒng)AirFlow，Azkaban以及最近挺火的DolphinScheduler，本質上的實現都是類似的，只是在各自都增加了不同的功能來滿足用戶的需求。

還有數據可視化等等很多的例子就部一一列舉了。

說這么多目的只有一個，腳踏實地一步一步走，程序猿這個工種還是很依賴經驗的，孰能生巧是沒有錯的。

大數據的特性都有哪些

一、體量(Volume)

大數據由大量數據組成，從幾個TB到幾個ZB。這些數據可能會分布在許多地方，通常是在一些連入因特網的計算網絡中。一般來說，凡是滿足大數據的幾個V的條件的數據都會因為太大而無法被單獨的計算機處理。單單這一個問題就需要一種不同的數據處理思路，這也使得并行計算技術(例如MapReduce)得以迅速崛起。

二、高速(Velocity)

大數據是在運動著的，通常處于很高的傳輸速度之下。它經常被認為是數據流，而數據流通常是很難被歸檔的(考慮到有限的網絡存儲空間，單單是高速就已經是一個巨大的問題)。這就是為什么只能收集到數據其中的某些部分。如果我們有能力收集數據的全部，長時間存儲大量數據也會顯得非常昂貴，所以周期性的收集數據遺棄一部分數據以節(jié)省空間，僅保留數據摘要(如平均值和方差)。這個問題在未來會顯得更為嚴重，因為越來越多的數據正以越來越快的速度所產生。

三、多樣(Variety)

在過去，數據或多或少是同構的，這種特點也使得它更易于管理。這種情況并不出現在大數據中，由于數據的來源各異，因此形式各異。這體現為各種不同的數據結構類型，半結構化以及完全非結構化的數據類型。結構化數據多被發(fā)現在傳統(tǒng)數據庫中，數據的類型被預定義在定長的列字段中。半結構化數據有一些結構特征，但不總是保持一致(舉例來說，看一看JSON文件)，使得這種類型難以處理。更富于挑戰(zhàn)的是非結構化數據(例如純文本文件)毫無結構特征可言。在大數據中，更常見的是半結構化數據，而且這些數據源的數據格式還各不相同。

在過去的幾年里，半結構化數據和結構化數據成為了大數據的主體數據類型。

四、準確(Veracity)

這是一個在討論大數據時時常被忽略的一個屬性，部分原因是這個屬性相對來說比較新，盡管它與其他的屬性同樣重要。這是一個與數據是否可靠相關的屬性，也就是那些在數據科學流程中會被用于決策的數據。

五、精確性與信噪比(signal-to-noiseratio)

在大數據中發(fā)現哪些數據對商業(yè)是真正有效的，這在信息理論中是個十分重要的概念。由于并不是所有的數據源都具有相等的可靠性，在這個過程中，大數據的精確性會趨于變化。如何增加可用數據的精確性是大數據的主要挑戰(zhàn)。注意，即使有些數據擁有這4種屬性中的一種或多種，也不能被歸類為大數據。大數據擁有以上全部4種特性。大數據是一個重要課題，因為它并不容易處理，即使是對于一臺超級計算機，也很難獨自有效地展開分析。